파이썬(Python) 분석실습 -웹로그 분석
2020. 12. 29. 21:17
web 로그 분석¶
- 데이터 : "data/usagov......txt"
- 타임존 도수
- agent 칼럼(a) 분석
- 브라우즈 추출
- 운영체제 확인
- 시간대별 운영체제별 접속횟수 분석
- 정렬
- 접속 비율 분석.
데이터 읽어오기¶
In [1]:
import pandas as pd
import json
In [3]:
경로 = "data/usagov_bitly_data2012-03-16-1331923249.txt"
with open(경로, encoding='utf-8') as f:
records = [json.loads(line) for line in f]
#DataFrame 로드
frame = pd.DataFrame(records)
frame[:3]
Out[3]:
In [4]:
## 정보
frame.info()
복습 : 도수 계산¶
In [5]:
## 타임존 도수 계산
frame["tz"][:10]
Out[5]:
In [6]:
frame["tz"].value_counts()[:10]
Out[6]:
In [7]:
## null은 누락, 공백은 모름.
clean_tz = frame['tz'].fillna("누락")
## 공백 : 공배필터 --> 값 셋팅
공백필터 = clean_tz == ''
clean_tz[공백필터] = "모름"
In [8]:
clean_tz[:15]
Out[8]:
In [9]:
clean_tz.value_counts()[:15]
Out[9]:
In [10]:
# matplotlib 라이브러가 로딩
%matplotlib inline
In [11]:
## 타임존 도수
tz_counts = clean_tz.value_counts()
In [12]:
tz_counts[:10].plot()
Out[12]:
In [13]:
tz_counts[:10].plot(kind="barh")
Out[13]:
agent 칼럼 분석¶
- 브라우저 정보 추출
- 운영체제 확인
In [42]:
# 그래프 한글 문제
# 그래프에 필요한 페키지와 라이브러리를 가져 온다.
import matplotlib as mpl
import matplotlib.pyplot as plt
import matplotlib.font_manager as fm
# 그래프에서 마이너스 폰트 깨지는 문제 해결
# (폰트를 지정하면 이러한 문제가 발생하기 때문에 아래 설정)
mpl.rcParams['axes.unicode_minus'] = False
plt.rcParams["font.family"] = 'NanumGothic'
plt.rcParams["font.size"] = 12
tz_counts[:10].plot(kind="barH")
Out[42]:
In [40]:
# 폰트명 확인
flist = [(f.name, f.fname) for f in fm.fontManager.ttflist]
fontFrame = pd.DataFrame(flist)
fontFrame.columns = ["이름", "경로"]
#fontFrame[:5]
fontFrame[fontFrame["이름"].str.find("Nanum") >= 0]
Out[40]:
브라우저 문자열 추출¶
In [43]:
# agent 칼럼을 이용한 분석()
agent = frame['a'][0]
In [44]:
agent
Out[44]:
In [45]:
# 분리 split 수행: 옵션없이 공백으로 분리
agent.split()
Out[45]:
In [46]:
agent.split()[0]
Out[46]:
In [47]:
# for문을 이용한 루프는 좋지 않다.
# Series.str "시리즈에 담긴 문자열들" 이라는 의미를 가진다. 복수형.
# 브라우저 문자열 추출
# 문자열들을 분리하고 그 분리된 문자열의 배열의 첫번째 문자열들을 반환받아 browsers변수에 담는다.
browsers = frame['a'].str.split().str[0]
In [48]:
## 브라우저 확인
browsers[:5]
Out[48]:
운영체제 확인(Windows인지 아닌지만 구별)¶
In [49]:
frame['a'].sample(10)
Out[49]:
In [51]:
## 운영체제가 윈도우인지 아닌지 여부 필터링
윈도우 = frame["a"].str.contains("Windows")
윈도우[:5]
Out[51]:
In [54]:
# 구별을 쉽게 하도록 --> Win, Not Win
윈도우 = 윈도우.replace({True:"Windows", False:"Not Win"})
분석 : 시간대별 운영체제별 접속 횟수.¶
- 피봇 모양의 결과 테이블
- OS 정보는 위쪽 칼럼 필드로
- 타임존은 행 필드로
In [55]:
# 칼럼 tz : 타임존
# 윈도우... 없어서 --> 윈도우 정보 시리즈... 사용.
시간대_운영체제별그룹 = frame.groupby(['tz', 윈도우])
In [56]:
시간대_운영체제별그룹
Out[56]:
In [58]:
# size: groupby된 그룹의 크기를 확인하는 함수.
tz_os_counts = 시간대_운영체제별그룹.size()
print(type(tz_counts))
In [59]:
tz_os_counts[:10]
Out[59]:
In [61]:
# 시간대별-운영체제별(색인) 도수(값) 데이터를 피봇팅한다.
# 도움말 확인
#tz_os_counts.unstack?
tz_os_counts.unstack()
Out[61]:
In [62]:
## 타임존_운영체제 - 접속횟수 피봇데이터.
접속횟수 = tz_os_counts.unstack()
In [63]:
# 데이터를 확인해 본다.
접속횟수[:10]
# NaN 데이터가 존재하것을 확인할 수 있다.
Out[63]:
In [64]:
## null값(NaN)을 0으로 처리
접속횟수 = 접속횟수.fillna(0)
접속횟수[:10]
Out[64]:
In [65]:
## 정보 확인
접속횟수.info()
정렬¶
- 지정된 칼럼 기준
- 사용자 정의 정렬
- 접속횟수의 합계가 큰것 순으로 정렬
- 접속횟수의 합계 계산
- 접속횟수의 합의 역순으로 정렬하여서 이것은 index 추출
- loc 함수를 이용해서 추출된 index 순으로 데이터를 정렬.
지정된 칼럼 기준 정렬¶
In [67]:
# 5개 가져외서 데이터 확인
접속횟수[:5]['Windows']
Out[67]:
In [68]:
# 정렬 : Windows 칼럼을 기준으로 역순 상위 10개.
접속횟수.sort_values(by="Windows", ascending=False)[:10]
Out[68]:
In [69]:
# 출력하는 칼럼의 순서 변경
접속횟수[["Windows", "Not Win"]].sort_values(by="Windows", ascending=False)[:10]
Out[69]:
접속합계를 기준으로 정렬.¶
In [70]:
# Windows와 Not Win의 합계를 기준으로 정렬.
# 합계는 칼럼으로 추가하지는 않을 것임.
## sum 함수의 사용법.
## 칼럼의 합계.
접속횟수.sum(0)
Out[70]:
In [71]:
# 행별로 합계.
접속횟수.sum(1)
Out[71]:
In [72]:
## 행별합계 변수에 저장
행별합계 = 접속횟수.sum(1)
In [73]:
## 행별합계의 역순 정렬.
행별합계.sort_values(ascending=False)
Out[73]:
In [74]:
## 행별합계의 역순 정렬된 것의 색인 추출.
행별합계.sort_values(ascending=False).index
Out[74]:
In [75]:
## 행별합계의 역순 정렬된 것의 색인 추출. -- 역순의 색인.
합계역순색인 = 행별합계.sort_values(ascending=False).index
In [76]:
## loc 함수 사용
## DataFrame.loc[[색인을 나열]] : 나열된 색인(키값) 순서대로 데이터를 반환
접속횟수.loc[['Europe/Malta', 'Africa/Ceuta', 'America/Recife']]
Out[76]:
In [78]:
## 정렬된 색인 이용해서 합계가 큰것 순으로 데이터를 나열....
접속횟수.loc[합계역순색인][:10]
Out[78]:
In [81]:
# 수직 막대 그래프
접속횟수.loc[합계역순색인][:10].plot(kind='barh')
Out[81]:
In [82]:
# 누적 막대 그래프
접속횟수.loc[합계역순색인][:10].plot(kind='barh', stacked=True)
Out[82]:
접속비율 확인하기¶
In [83]:
## 합계....
행별합계 = 접속횟수.sum(1)
In [86]:
# 비율 구하기 : 축방향을 지정. OS타입별 비율로 지정.... 세로방향으로 계산.
접속비율 = 접속횟수.div(행별합계, axis=0)
접속비율[:10]
Out[86]:
In [88]:
접속비율[:10].plot(kind='barh', stacked=True)
Out[88]:
In [ ]:
728x90
'프로그래밍 > Python' 카테고리의 다른 글
| 파이썬(Python) 고급문자열 처리 (0) | 2020.12.31 |
|---|---|
| 파이썬(Python) - 분석 실습 영화평점분석 (0) | 2020.12.29 |
| 파이썬(Python) 분석실습 - URL을 통한 HTML 데이터 수집 및 분석 (0) | 2020.12.29 |
| 파이썬(Python) 분석실습 - 웹페이지 복사 로딩 후 분석 (0) | 2020.12.28 |
| 파이썬(Python) 고급자료구조 (0) | 2020.12.28 |
