(4) 相似文章推荐

开发环境

系统: macOS Sierra； 开发软件: PyChram CE； 运行环境: Python3.6

需求分析

在用户阅读某篇文章的时候，为用户推荐更多与在读文章内容相似的文章

概念

<b>相似推荐</b>：当用户表现出对某人或某物感兴趣时，为他／她推荐相似的人或物，核心思想：人以类聚，物以群分；
<b>协同过滤推荐</b>：指利用用户过去的行为或意见，预测当前用户最喜欢哪些东西或对哪些东西感兴趣

采用余弦相似度原理来实现相似文章推荐

<b>原理:</b>
将每篇文章的词频统计结果当作一个向量，如果两篇文章向量的夹角越小即余弦值越接近1，那么我们说这两篇文章越相似

原理.png

假如有如下两篇文章
文章A - '放假我喜欢弹吉他，看书'
文章B - '放假我不喜欢看书，喜欢打球'
这两篇文章的词频统计结果如下：

      放假 我 喜欢 弹 吉他 看书 不 打球
文章A   1  1  1   1  1   1   0   0
文章B   1  1  2   0  0   1   1   1

则根据余弦计算公式，文章A和文章B两个向量间的余弦值计算如下：

math.png

若余弦值越接近1， 则说明文章A和B越相似

---

• 导入需要用到的包

import os
import codecs
import re
import jieba
import pandas
import numpy
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.metrics import pairwise_distances

• 创建语料库

# 创建语料库
filePaths = []
fileContents = []
for root, dirs, files in os.walk(
    'data/SogouC.mini/Sample'
):
    for name in files:
        filePath = os.path.join(root, name)
        f = codecs.open(filePath, 'r', 'utf-8')
        fileContent = f.read()
        f.close()
        filePaths.append(filePath)
        fileContents.append(fileContent)

corpus = pandas.DataFrame({
    'filePath': filePaths,
    'fileContent': fileContents
})

语料库中的文章是从搜狗实验室下载的，内容如下：

目录结构.png

创建的语料库如下：

语料库.png

• 对文章进行分词

# 匹配中文分词
zhPattern = re.compile(u'[\u4e00-\u9fa5]+')

# 对每篇文章进行分词处理
for index, row in corpus.iterrows():
    fileContent = row['fileContent']
    segments = []
    segs = jieba.cut(fileContent)  # 分词默认以','分隔
    for seg in segs:
        if zhPattern.search(seg):
            segments.append(seg)
    row['fileContent'] = ' '.join(segments)  # 将分词以空格分隔

分词后结果如下：

分词.png

• 统计词频，将词频向量化

# 读取停用词文件
stopWords = pandas.read_csv(
    'data/StopwordsCN.txt',
    encoding='utf-8',
    index_col=False,
    quoting=3,
    sep='\t'
)

# 词频统计 & 文档向量化
countVectorizer = CountVectorizer(
    stop_words=list(stopWords['stopword'].values),
    min_df=0,
    token_pattern=r"\b\w+\b"
)
textVector = countVectorizer.fit_transform(corpus['fileContent'])

词频矩阵如下：

vector.png

• 统计词频矩阵的余弦相似度计算

# 统计词频矩阵的余弦相似度计算
distance_matrix = pairwise_distances(
    textVector,
    metric='cosine'
)

运行结果如下：

cosine.png

上面的矩阵代表的意思是两个文章（即两个向量）之间的夹角值，这里我用x代替上面矩阵中的数值。 为什么斜对角的数值都为0呢？因为文章跟本身是完全相同的，所以两个向量相同，夹角值为0

     文章1  文章2  文章3  ...  文章n
文章1  0     x     x     ...   x 
文章2  x     0     x     ...   x
文章3  x     x     0     ...   x
...   ...   ...   ...   ...   ...
文章n  x     x     x     ...   0

• 获取与该文章最相似的3篇文章（即矩阵中值最小的前三个）

# 获取与本篇文章相似度最高的三篇文章
sort_matrix = numpy.argsort(distance_matrix, axis=1)[:, 1:4]  # argsort为升序排列,取第1列到第3列的值，第0列为自己本身
similarity = pandas.Index(filePaths)[sort_matrix].values

similarityDF = pandas.DataFrame({
    'filePath': filePaths,
    's1': similarity[:, 0],
    's2': similarity[:, 1],
    's3': similarity[:, 2],
})

最后结果如下：

result.png

• 参考

小蚊子数据分析