淘宝荣耀7C评论爬虫实战
2018-05-06 本文已影响162人
放翁lcf
最近新换了台手机,因此想用爬虫看看淘宝上相关的评价。
Python爬取简单页面还是比较套路的,要么直接爬取HTML页面,要么爬取对应的json页面,当然这里不考虑验证码需要登录等情况。淘宝的页面数据是异步加载的,所以要到相应的json文件里找对应的数据,评论数据都是装载在json里再经过JavaScript处理后显示到HTML页面里的。下面我们来实战一下华为荣耀畅玩7C这款手机在天猫旗舰店的评价,在淘宝上搜索荣耀畅玩7C定位到官方页面,之后按F12打开源码,定位到Network,因为默认F12的开发者选项的页面是对应Elements的,按F5刷新页面后在Network里对应找到相关的json文件,实际爬过一些小项目的人应该很熟悉上面的操作了。如下图:
点击Headers可以看到对应的URL和请求方式(是get还是post)
Headers页面.png
可以看到URL很长,里面封装了大量的参数,用这个url可以爬取评论的单个页面,但是要连续爬取各个页面的评论挺困难的,我研究了很久试了很多次callback参数的改变,效果不是很好,后来查网上的资料发现可以简化参数,将后面的参数削减掉,只保留几个必要的参数,变成:https://rate.taobao.com/feedRateList.htm?auctionNumId=商品id¤tPageNum=1,改变currentPageNum就好,于是开始完善代码,用requests获得数据后,用json将str类型的数据变成json数据,然后解析json数据,提取评论中自己关注的数据写入csv文件中,这里懒得用csv库了,直接当做文本文件进行读写。代码如下:
import requests
import json
import re
def getOneUrl(url):
try:
r = requests.get(url, timeout=30)
r.raise_for_status()
r.encoding = r.apparent_encoding
return r.text
except:
return -1 # 页面没正常下下来
首先是比较套路的获取单个页面数据,就是调用了 requests.get(url)
def getOverViewComment():#评论概览
oc_url = "https://rate.tmall.com/listTagClouds.htm?" \
"itemId=565264660443&isAll=true&isInner=true"
ovtxt=getOneUrl(oc_url)
print(ovtxt)
#jsonp921({"tags":{"dimenSum":8,…… loudList":""}})
if ovtxt==-1:
return
#ov2=re.compile('\{.+\}').search(ovtxt) #json的部分
ovc = json.loads('{'+ovtxt+'}')
print(ovc["tags"]["rateSum"])
for tc in ovc['tags']['tagClouds']:
print(tc['tag'],tc)
函数getOverViewComment()是获取荣耀畅玩7C的评论概览数据,对应HTML里的效果如下:
HTML里的整体评论
getOverViewComment()运行的输出如下
畅玩7C评论概览
下面的代码功能是获取和解析每个页面的评论数据,具体代码不难理解的。
def parseCommentJson(url, savep): # 解析每个页面的json数据
text = getOneUrl(url)
if text == -1:
print('页面没正常获取', url)
return -1
hc = json.loads(text.strip().strip('()')) # 除掉空格和首尾括号
if (hc['total'] == 0 or hc['comments'] == None):
return 0
print(hc['total'])
with open(savep, 'a+', encoding='utf-8') as wf:
for each_c in hc['comments']: #循环每条评论
wstr = '{name},{date},{ct},{sku}'.format(name=each_c['user']['nick'],
date=each_c['date'], ct=each_c['content'],
sku=each_c['auction']['sku'])
aplst = each_c['appendList']
addstr = ''
if aplst != []: # 有追评
for adict in aplst:
astr = ',{dac},{act}'.format(dac=str(adict['dayAfterConfirm']), act=adict['content'])
addstr = addstr+astr
wf.write(wstr+addstr+'\n')
def honorComment():
for i in range(1,101):#结束页面可以自由改,如果要全量爬就设大一些,每个页面大概有20条 30115/20
url='https://rate.taobao.com/feedRateList.htm?auctionNumId={cid}&' \
'currentPageNum={page}'.format(cid='565264660443',page=str(i))
savep='D:/FFOutput/honor7cComment_{page}.csv'.format(page=str(i)) #直接page=i 也是可以的
#page不迭代时,是写到同一个文件里,省得去合并了
if (parseCommentJson(url,savep)==0):
break #后面没有评论了
honorComment() #调用
代码也可以进行拓展,例如获取评论里的其他属性,我这里主要爬了用户名称、评价时间、评价内容、购买类型以及追评的数据。需要其他数据可以自己改一下代码,并不难。
最后的数据效果如下,我只爬了前100页的数据。
有这样的几千条数据可以进行一些有趣的分析,例如每天的评价数:评价数随时间变化的折线图、结合促销手段、其他手机的发布时间等数据去理解评价数随时间的变化,分析荣耀10发布是否对荣耀畅玩7C的销量有影响;各种类型售出的比例:大家是更喜欢3G内存版本还是4G内存版本,大家更喜欢哪种颜色;对于核心的评论文本,可以结合自然语言处理进行深入分析,例如情感分析,对有追评数据的分析前后的情感变化,做词云图进行可视化等等。之后也许会把分析过程也用Python实现然后写成文章。
上面的分析过程和爬虫代码是一个框架,想要分析其他产品的淘宝评论也可以按照这个思路。如果有其他有趣的分析视角,欢迎留言。