파이썬(Python) - 분석 실습 영화평점분석
2020. 12. 29. 21:20
영화 평점 데이터 분석¶
import pandas as pd import numpy as np
데이터 읽어오기.¶
- 사용자 데이터: users
- 평점 데이터 : ratings
- 영화 데이터 : movies
In [5]:
## users.dat 파일 컬럼(유저 정보 파일) : 유저id, 성별
## pandas를 이용 읽어온다. '::' (구분자)
## 경고 문구에 따라 설정 변경 ==> engine='python'
## 첫 라인의 데이터가 열제목으로 자동 셋팅... 첫라인으로 데이터로 읽어와야 함.
pd.read_csv('data/movielens/users.dat', sep='::', engine='python', header=None)
Out[5]:
In [6]:
## 칼럼제목 지정해서 읽기, header=None은 names가 지정되면 자동으로 셋팅되므로 생략 가능.
pd.read_csv('data/movielens/users.dat', sep='::', engine='python', names=['user_id', '성별', '연령', '직업', '지역'])
Out[6]:
In [7]:
# 결과를 users 변수에 넣기.....
users = pd.read_csv(
'data/movielens/users.dat',
sep='::',
engine='python',
names=['user_id', '성별', '연령', '직업', '지역']
)
In [8]:
users[0:10]
Out[8]:
In [9]:
# 평점 읽기
ratings = pd.read_csv(
'data/movielens/ratings.dat',
sep='::', engine='python',
names=['user_id', 'movie_id', "평점", '타임스템프']
)
## 시간이 걸림....
In [10]:
len(ratings)
Out[10]:
In [11]:
ratings[:5]
Out[11]:
In [12]:
# 영화정보 읽기
movies = pd.read_csv(
'data/movielens/movies.dat',
sep='::', engine='python', encoding='latin-1',
names=['movie_id', '제목', '장르']
)
In [13]:
movies[:5]
Out[13]:
데이터 병합¶
- users, ratings, movies를 DB에서 join하듯이 합치기.
In [14]:
## 각각의 건수 확인
print("사용자:{0:,}, 영화:{1:,}, 평점:{2:,}".format(len(users), len(movies), len(ratings)))
In [15]:
# 3개의 users, ratings, movies를 통합해서 분석.
# users 약 6,000건, users-ratings 연결. ratings-movies 연결.
# movies 약 4,000건
# ratings 약 100만건.
1. 평점과 유저를 병합..... : key --> user_id¶
- merge 함수 사용.: 원본데이터를 변경 없음. 합쳐진 데이터가 반환 된다.
- 첫번째 인자가 기준.
- 두번째 인자는 합쳐지는 데이터.
- 합칠때 키를 on= 옵션으로 셋팅.
In [17]:
data = pd.merge(ratings, users, on='user_id')
data[:10]
Out[17]:
2. 유저-평점 과 영화를 병합....¶
In [18]:
## movie_id를 기준으로 병합.
data = pd.merge(data, movies, on='movie_id')
data[:5]
Out[18]:
In [19]:
## 위 과정을 한줄로...
data = pd.merge(
pd.merge(ratings, users, on='user_id'), movies, on='movie_id'
)
data[:3]
Out[19]:
In [20]:
len(data)
Out[20]:
In [21]:
# 피봇팅 pivot_table(데이타필드, 집계방식, 행인덱스필드, 칼럼필드)
# 제목 : 행필드, 성 : 칼럼필드, 평점 평균으로 데이터필드....
평점기준 = data.pivot_table('평점', aggfunc='mean', index='제목', columns='성별')
평점기준[:10]
Out[21]:
영화의 평점 건수가 250건 이상인것만.... 분석.¶
In [22]:
# 평점 건수가 250 건 이상.
# 영화별로 그룹바이.
영화별 = data.groupby('제목')
In [23]:
# 영화제목별 도수는 size 함수를 이용
평점건수 = 영화별.size()
In [24]:
평점건수[:10]
Out[24]:
In [26]:
## 250건 이상을 필터하기위한 조건....
평점기준 = 평점건수 >= 250
평점기준[:10]
Out[26]:
In [27]:
평점평균 = data.pivot_table('평점', aggfunc='mean', index='제목', columns='성별')
# 불리언필터 적용.
평점평균 = 평점평균[평점기준]
In [28]:
평점평균[:10]
Out[28]:
In [29]:
## 여성에게 높은 평점을 받은 영화 상위 10
평점평균.sort_values(by='F', ascending=False)[:10]
Out[29]:
In [30]:
## 남성 평점 Top 10
평점평균.sort_values(by='M', ascending=False)[:10]
Out[30]:
In [31]:
# 남녀가 호불호가 갈리는 영화...
# 평점평균의 차이가 크면 .....
# 호불호에 대한 수치화.... 남자평균 - 여자평균
평점평균['M'] - 평점평균['F']
Out[31]:
In [32]:
# 평균평점에 차이를 새로운 칼럼으로 추가.
평점평균['차이'] = 평점평균['M'] - 평점평균['F']
In [33]:
평점평균[:10]
Out[33]:
In [34]:
## 남자가 호감도가 높은 영화순으로 나열하시오.....
평점평균.sort_values(by='차이', ascending=False)[:10]
Out[34]:
In [35]:
## 여자가 호감도가 높은... 여자 > 남자... 차이... 작은 것.....
평점평균.sort_values(by='차이', ascending=True)[:10]
Out[35]:
In [37]:
# 남녀 선호도 상관 없이 호불호가 큰 순서....
np.abs(평점평균['차이']).sort_values(ascending=False)[:10]
Out[37]:
성별 무관하게 호불호가 갈리는 영화¶
- 표준편차를 이용한다.
In [38]:
# 집계 다시...
영화별 = data.groupby("제목")
In [39]:
# 평점의 표준편차를 구한다.
평점편차 = 영화별['평점'].std()
In [40]:
# 250건 미만 제거.(앞에서 만든 불리언필트 사용.)
평점편차 = 평점편차[평점기준]
In [41]:
평점편차.sort_values(ascending=False)[:10]
Out[41]:
불리언 색인¶
In [42]:
names = ['이성주', '김성주', '홍길동', '임꺽정', '김희선', '강호동']
In [43]:
## ndarray에서 불리언 필터
names = np.array(names)
names
Out[43]:
In [44]:
필터 = names == '김성주'
In [45]:
names[필터]
Out[45]:
In [46]:
names[names == '홍길동']
Out[46]:
In [47]:
# 판다스 Series도 동일하게 동작을 한다.
names = pd.Series(names)
names
Out[47]:
In [56]:
names[names == '김성주']
Out[56]:
In [52]:
(names != '김성주')
Out[52]:
In [58]:
# 파이썬 예약어인 and와 or를 블리언 배열에서는 사용할 수 없다.
# 이는 두 예약어를 사용하면 Series끼리의 연산이 되어버리기 때문이다.
# and -> &, or -> |
(names == '김성주') | (names == '홍길동')
Out[58]:
In [59]:
names[(names =='이성주') | (names == '김성주')]
Out[59]:
In [60]:
# 이것을 for 문을 사용해 직접 골라내야 한다면...
choice = []
for nm in names:
if nm == '이성주' or nm == '김성주' :
choice.append(nm)
choice
Out[60]:
연습¶
- 대표장르의 도수 측정
- 대표장르별 성별 평점 개수. "성별에 따라 선호도 장르?"
- 대표장르별 성별 평점 평균
- 대표장르별 성별 평점 편차.
In [ ]:
728x90
'프로그래밍 > Python' 카테고리의 다른 글
| 파이썬(Python) 고급연산 (0) | 2020.12.31 |
|---|---|
| 파이썬(Python) 고급문자열 처리 (0) | 2020.12.31 |
| 파이썬(Python) 분석실습 -웹로그 분석 (0) | 2020.12.29 |
| 파이썬(Python) 분석실습 - URL을 통한 HTML 데이터 수집 및 분석 (0) | 2020.12.29 |
| 파이썬(Python) 분석실습 - 웹페이지 복사 로딩 후 분석 (0) | 2020.12.28 |
