淘宝荣耀7C评论爬虫实战

2018-05-06  本文已影响162人  放翁lcf

最近新换了台手机,因此想用爬虫看看淘宝上相关的评价。
Python爬取简单页面还是比较套路的,要么直接爬取HTML页面,要么爬取对应的json页面,当然这里不考虑验证码需要登录等情况。淘宝的页面数据是异步加载的,所以要到相应的json文件里找对应的数据,评论数据都是装载在json里再经过JavaScript处理后显示到HTML页面里的。下面我们来实战一下华为荣耀畅玩7C这款手机在天猫旗舰店的评价,在淘宝上搜索荣耀畅玩7C定位到官方页面,之后按F12打开源码,定位到Network,因为默认F12的开发者选项的页面是对应Elements的,按F5刷新页面后在Network里对应找到相关的json文件,实际爬过一些小项目的人应该很熟悉上面的操作了。如下图:

找到json数据位置
点击Headers可以看到对应的URL和请求方式(是get还是post)
Headers页面.png
可以看到URL很长,里面封装了大量的参数,用这个url可以爬取评论的单个页面,但是要连续爬取各个页面的评论挺困难的,我研究了很久试了很多次callback参数的改变,效果不是很好,后来查网上的资料发现可以简化参数,将后面的参数削减掉,只保留几个必要的参数,变成:https://rate.taobao.com/feedRateList.htm?auctionNumId=商品id&currentPageNum=1,改变currentPageNum就好,于是开始完善代码,用requests获得数据后,用json将str类型的数据变成json数据,然后解析json数据,提取评论中自己关注的数据写入csv文件中,这里懒得用csv库了,直接当做文本文件进行读写。代码如下:
import requests
import json
import re

def getOneUrl(url):
    try:
        r = requests.get(url, timeout=30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return -1  # 页面没正常下下来

首先是比较套路的获取单个页面数据,就是调用了 requests.get(url)

def getOverViewComment():#评论概览

    oc_url = "https://rate.tmall.com/listTagClouds.htm?" \
             "itemId=565264660443&isAll=true&isInner=true" 
    ovtxt=getOneUrl(oc_url)
    print(ovtxt)
    #jsonp921({"tags":{"dimenSum":8,…… loudList":""}})
    if ovtxt==-1:
        return
    #ov2=re.compile('\{.+\}').search(ovtxt)  #json的部分

    ovc = json.loads('{'+ovtxt+'}')
    print(ovc["tags"]["rateSum"])
    for tc in ovc['tags']['tagClouds']:
        print(tc['tag'],tc)

函数getOverViewComment()是获取荣耀畅玩7C的评论概览数据,对应HTML里的效果如下:


HTML里的整体评论

getOverViewComment()运行的输出如下


畅玩7C评论概览
下面的代码功能是获取和解析每个页面的评论数据,具体代码不难理解的。
def parseCommentJson(url, savep):  # 解析每个页面的json数据
    text = getOneUrl(url)
    if text == -1:
        print('页面没正常获取', url)
        return -1
    hc = json.loads(text.strip().strip('()'))  # 除掉空格和首尾括号
    if (hc['total'] == 0 or hc['comments'] == None):
        return 0

    print(hc['total'])

    with open(savep, 'a+', encoding='utf-8') as wf:
        for each_c in hc['comments']: #循环每条评论
            wstr = '{name},{date},{ct},{sku}'.format(name=each_c['user']['nick'],
                                                     date=each_c['date'], ct=each_c['content'],
                                                     sku=each_c['auction']['sku'])

            aplst = each_c['appendList']
            addstr = ''
            if aplst != []:  # 有追评
                for adict in aplst:
                    astr = ',{dac},{act}'.format(dac=str(adict['dayAfterConfirm']), act=adict['content'])
                    addstr = addstr+astr

            wf.write(wstr+addstr+'\n')



def honorComment():
    for i in range(1,101):#结束页面可以自由改,如果要全量爬就设大一些,每个页面大概有20条 30115/20
        url='https://rate.taobao.com/feedRateList.htm?auctionNumId={cid}&' \
            'currentPageNum={page}'.format(cid='565264660443',page=str(i))
        savep='D:/FFOutput/honor7cComment_{page}.csv'.format(page=str(i)) #直接page=i 也是可以的
        #page不迭代时,是写到同一个文件里,省得去合并了
        if (parseCommentJson(url,savep)==0):
            break #后面没有评论了


honorComment() #调用



代码也可以进行拓展,例如获取评论里的其他属性,我这里主要爬了用户名称、评价时间、评价内容、购买类型以及追评的数据。需要其他数据可以自己改一下代码,并不难。
最后的数据效果如下,我只爬了前100页的数据。

评论数据输出.csv
有这样的几千条数据可以进行一些有趣的分析,例如每天的评价数:评价数随时间变化的折线图、结合促销手段、其他手机的发布时间等数据去理解评价数随时间的变化,分析荣耀10发布是否对荣耀畅玩7C的销量有影响;各种类型售出的比例:大家是更喜欢3G内存版本还是4G内存版本,大家更喜欢哪种颜色;对于核心的评论文本,可以结合自然语言处理进行深入分析,例如情感分析,对有追评数据的分析前后的情感变化,做词云图进行可视化等等。之后也许会把分析过程也用Python实现然后写成文章。

上面的分析过程和爬虫代码是一个框架,想要分析其他产品的淘宝评论也可以按照这个思路。如果有其他有趣的分析视角,欢迎留言。

上一篇下一篇

猜你喜欢

热点阅读