推荐系统数据集之MovieLens

2020-11-02  本文已影响0人  HaloZhang

简介

MovieLens其实是一个推荐系统和虚拟社区网站，它由美国 Minnesota 大学计算机科学与工程学院的GroupLens项目组创办，是一个非商业性质的、以研究为目的的实验性站点。GroupLens研究组根据MovieLens网站提供的数据制作了MovieLens数据集合，这个数据集合里面包含了多个电影评分数据集，分别具有不同的用途。本文均用MovieLens数据集来代替整个集合。MoveieLens数据集可以说是推荐系统领域最为经典的数据集之一，其地位类似计算机视觉领域里的MNIST数据集。

MovieLens

MoveLens是一个数据集合，其中根据创建时间、数据集大小等分为了若干个子数据集。每个数据集的格式、大小、用途均有所差异。本文以MovieLens 1M Dataset为例，具体介绍下此数据集，其它MovieLens数据集也大都类似，本文使用的数据集下载链接为ml-1m.zip。

MoveLens 1M 数据集包含了来自6040位在2000年加入MovieLens的用户，对大约3900部电影的1000209条匿名评价。

数据集概览

ml-1m.zip文件解压之后，可以得到4个文件，分别是：

README是一个Markdown格式文件，里面包含了记录了此数据集的基本信息，在此不赘述。我们主要关注一下前三个文件的内容和格式。

1、RATINGS 文件描述

打开ratings.dat文件，可以看到以下内容：


其文件格式为：
UserID::MovieID::Rating::Timestamp

注意： 每个用户至少会对20部电影进行评级。

2、USER 文件描述

打开users.dat文件，可以看到以下内容：

其文件格式为：
UserID::Gender::Age::Occupation::Zip-code

3、MOVIES 文件描述

打开movies.dat,可以看到以下内容：

其文件格式为：
MovieID::Title::Genres

数据处理

我们使用pandas库来读取和处理数据。

1、读取数据并显示

import pandas as pd
rnames = ["UserID", "MovieID", "Rating", "TimeStamp"]
ratings = pd.read_table("./ml-1m/ratings.dat", sep="::", header=None, names=rnames, engine='python')
print(ratings[:5])

unames = ["UserID", "Gender", "Age", "Occupation", "Zip-code"]
users = pd.read_table("./ml-1m/users.dat", sep="::", header=None, names=unames, engine='python')
print(users[:5])

mnames = ["MovieID", "Title", "Genres"]
movies = pd.read_table("./ml-1m/movies.dat", sep="::", header=None, names=mnames, engine='python')
print(movies[:5])
上述代码只显示了前五行数据，结果如下：

2、数据合并

根据UserID字段，合并ratings和users集合，代码如下：

data1 = pd.merge(ratings, users, on='UserID')
print(data1[:5])
结果如下：

可以看到这两个数据集根据UserID这一字段进行了合并，形成的新数据集包含了8列。
根据MovieID合并ratings和movies数据集，代码如下：

data2 = pd.merge(ratings, movies, on='MovieID')
print(data2[:5])
结果如下：

3、分组之后选择某一列进行运算

# 将data2以 ’MovieID‘，’Title‘两列进行分组，并计算Rating出现的次数
data3 = data2.groupby(['MovieID', 'Title'], as_index=False)['Rating'].count()
# 将Rating改名为Rating_Count
rating_count_by_movie.columns=['MovieID','Title','Rating_Count']
# 以Rating_Count字段进行降序排序
rating_count_by_movie.sort_values(by=['Rating_Count'],ascending=False,inplace=True)
print(data3[:5])
结果如下：

可以看到，我们只取了合并后的数组的'MovieID'、'Title'两列的元素，并且统计了有多少用户对电影进行了评分，接着按照评分人数进行了降序排序。

4、分组运算方法agg

# 将data2以 ’MovieID‘，’Title‘两列进行分组，并且对Rating这一列的数据计算均值和标准差
rating_stddev = data2.groupby(['MovieID','Title']).agg({'Rating':['mean','std']})
rating_stddev.head(5)
结果如下：

此操作可以计算用户对电影的评分的均值和标准差，然后降序排序，可以在一定程度上反应最受用户喜爱的电影。

5、筛选出指定的列

ratings.dat数据集里面包含了4列，其中最后一列通常不是我们所需要的，可以通过以下代码进行筛选：

ratings_1 = ratings[['UserID','MovieID','Rating']]
print(ratings_1[:5])
结果如下：

6、遍历

对于上述数据，我们可以采用如下方法来逐行遍历：

for idx, row in ratings_1.iterrows():
    userid = int(row['UserID'])
    movieid = int(row['MovieID'])
    rating = int(row['Rating'])
    print(userid, movieid, rating)
    break
上述实例代码只遍历了一行就跳出，结果如下：

其他的操作可以参考pandas官方文档。

参考

上一篇 下一篇

猜你喜欢

热点阅读