MovieLens 1M數(shù)據(jù)集含有來自6000名用戶對4000部電影的100萬條評分數(shù)據(jù)，分為三個表，movies、ratings、users

數(shù)據(jù)處理

通過pandas.read_table將各表轉(zhuǎn)化為pandas 的DataFrame對象

import pandas as pd #用戶信息 unames = ['user_id', 'gender', 'age' , 'occupation' , 'zip'] users = pd.read_table('E:/Wheat/DataAnalysis/pydata-book/pydata-book-2nd-edition/datasets/movielens/users.dat',sep= '::', header = None, names = unames,engine = 'python') #評分 rnames = ['user_id', 'movie_id', 'rating', 'timestamp'] ratings = pd.read_table('E:/Wheat/DataAnalysis/pydata-book/pydata-book-2nd-edition/datasets/movielens/ratings.dat',sep= '::', header = None, names = rnames,engine = 'python') #電影信息 mnames = ['movie_id', 'title' , 'genres'] movies = pd.read_table('E:/Wheat/DataAnalysis/pydata-book/pydata-book-2nd-edition/datasets/movielens/movies.dat',sep= '::', header = None, names = mnames,engine = 'python')

其中用到的參數(shù)為分隔符sep、頭文件header、列名定義names、解析器引擎engine，這里和書上相比多用了engine參數(shù)，engine參數(shù)有C和Python，C引擎速度更快，而Python引擎目前功能更完整。

利用python的切片查看每個DataFrame

#檢查數(shù)據(jù)的輸出 print(users[:5]) print(ratings[:5]) print(movies[:5])

結(jié)果輸出如下

可通過info()查看dataframe的summary

ratings.info()

想要根據(jù)性別和年齡計算某部電影的平均得分，可用pandas.merge?將所有數(shù)據(jù)都合并到一個表中。merge有四種連接方式（默認為inner），分別為

內(nèi)連接(inner)，取交集；

外連接(outer)，取并集，并用NaN填充；

左連接(left)，左側(cè)DataFrame取全部，右側(cè)DataFrame取部分；

右連接(right)，右側(cè)DataFrame取全部，左側(cè)DataFrame取部分；

data = pd.merge(pd.merge(ratings, users), movies) data.info()

通過索引器查看第一行數(shù)據(jù)，當(dāng)使用ix索引時，雖然仍有結(jié)果輸出，但提示.ix已棄用，請使用基于標(biāo)簽的索引.loc或基于位置的索引.iloc，因此修改為

print(data.iloc[0])

數(shù)據(jù)透視表

為了按性別計算每部電影的平均得分，可通過數(shù)據(jù)透視表(pivot_table)實現(xiàn)

mean_ratings = data.pivot_table('rating', index=["title"],columns=["gender"], aggfunc='mean') print(mean_ratings[:5])該操作產(chǎn)生了另一個DataFrame，輸出內(nèi)容為rating列的數(shù)據(jù)，行標(biāo)index為電影名稱，列標(biāo)為性別，aggfunc參數(shù)為函數(shù)或函數(shù)列表（默認為numpy.mean），其中“columns”提供了一種額外的方法來分割數(shù)據(jù)。

過濾評分數(shù)據(jù)不夠250條的電影

通過groupby()對title進行分組，并利用size()得到一個含有各電影分組大小的Series對象。

ratings_by_title = data.groupby('title').size() print(ratings_by_title[:10])

最后通過index索引篩選出評分數(shù)據(jù)大于250條的電影名稱。

active_titles = ratings_by_title.index[ratings_by_title >= 250] print(active_titles)

使用mean_ratings選取所需的行

mean_ratings = mean_ratings.loc[active_titles] mean_ratings.info() print(mean_ratings[:5])

了解女性觀眾最喜歡的電影

通過sort_index進行降序

top_female_ratings = mean_ratings.sort_index(by = 'F', ascending = False) print(top_female_ratings[:10])

by參數(shù)的作用是針對特定的列進行排序（不能對行使用），ascending的作用是確定排序方式，默認為升序

計算評分分歧

增加一列存放平均得分之差，并對其排序，得到分歧最大且女性觀眾更喜歡的電影

mean_ratings['diff'] = mean_ratings['M'] - mean_ratings['F'] sorted_by_diff = mean_ratings.sort_index(by = 'diff') print(sorted_by_diff[:10])

對排序結(jié)果反序可得男性觀眾更喜歡的電影

print(sorted_by_diff[::-1][:10])

以上為本人使用《利用Python進行數(shù)據(jù)分析》的學(xué)習(xí)過程（Python 3.6），如有理解不當(dāng)?shù)牡胤?#xff0c;望指出，感激不盡！

總結(jié)

以上是生活随笔為你收集整理的Learning: 利用Python进行数据分析 - MovieLens 数据集的探索的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。