前言

我们已经对爬虫有了一个大概的了解，下面我们再找一个示例来巩固一下

例子

爬取微博的评论

任务分析

1、抓包分析获得有规律的网址
2、使用cookie保持微博的登录状态
3、数据传输是json格式（类似于字典）
4、使用用正则表达式匹配出想要的评论文本
4、对文本数据的保存并分析

抓包分析

澎湃新闻网址
http://weibo.com/thepapernewsapp?refer_flag=1005055014_

image.png

点击这条新闻的评论，出现下图：

image.png

然后我们点击“查看更多”，弹出了另外一个网页
https://weibo.com/5044281310/FD4AvqzoT?filter=hot&root_comment_id=0
打开开发者工具，进行抓包分析，先点击‘查看更多’

image.png

可疑网址：https://weibo.com/aj/v6/comment/big?ajwvr=6&id=4193124316332611&root_comment_max_id=143085129182685&root_comment_max_id_type=0&root_comment_ext_param=&page=4&filter=hot&sum_comment_number=2892&filter_tips_before=0&from=singleWeiBo&__rnd=1515391060977

掉不可用的部分，如下https://weibo.com/aj/v6/comment/big?ajwvr=6&id=4193124316332611&root_comment_max_id=143085129182685&root_comment_max_id_type=0&root_comment_ext_param=&page=4&filter=hot

发现现在是在第五个页片，page=4

构造出base_url = 'https://weibo.com/aj/v6/comment/big?ajwvr=6&id=4193124316332611&root_comment_max_id=143085129182685&root_comment_max_id_type=0&root_comment_ext_param=&page={page}&filter=hot'

cookie的使用

Cookie = {'Cookie'：‘你的cookie’}
然后发请求
r = requests.get(url, cookies= Cookie)

image.png

json格式数据

这里首先要将str转换为dict，解决办法有两个：
方法一：
import json
Data = json.loads（r.text）
方法二：
直接使用requests的方法
Data = r.json()

正则匹配出评论文本

</a>:这几个月我跟我老公每天不做饭去我妈家吃每个月给我妈千块钱伙食费怎么办我好害怕我妈被罚款啊挖鼻挖鼻 </div>
</a>:严查黑恶势力的保护伞，公安系统没有保护伞，他们不会那么猖獗 </div>

我们发现评论内容前都出现了</a>,评论内容后出现</div>-----好像微博的评论都是这样的

那么我们可以构造一个正则表达式规律模板：
re.compile(r'</a>: (.*?) </div')

但是，评论中还是有杂质，如图片链接等，我们只要汉字内容！！！
那么我们这里再用一次正则，匹配出所有的汉字
汉字的正则表达式是
re.compile(r'[\u4e00-\u9fa5]')
多个汉字的表达式是
re.compile(r'[\u4e00-\u9fa5]+')
我们用多个（多于一个汉字）汉字的表达式，

保存

import os

获取当前代码所在的文件夹路径

path = os.getcwd()
filename = '辱母杀人评论.txt'
file = path + '/' + filename
f = open(file, 'a+', encoding='utf-8')

文本写入txt文件

f.write(comment)

分析

代码

import requests
import  re
import os
import json
import time
import simplejson
Cookie = {'Cookie':'你自己的'}
headers = {
   'Connection': 'keep-alive',
   'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36'
}
base_url = 'https://weibo.com/aj/v6/comment/big?ajwvr=6&id=4193124316332611&root_comment_max_id=143085129182685&root_comment_max_id_type=0&root_comment_ext_param=&page={page}&filter=hot'
#在base_url后面添加&currentPage=1就可以访问不同页码的评论


comment_pattern = re.compile(r'</a>:(.*?)</div>')
chinese_pattern = re.compile(r'[\u4e00-\u9fa5]+')


path = os.getcwd()
filename = '员工搭伙做饭被罚15万.text'
file = path + '/' + filename
f = open(file,'a+',encoding='utf-8')


print(os.getcwd())



#print(html)
requests_num = 1
#开始，介绍，每次增加的
for i in range(1,5,1):
    if requests_num%100 == 0:
        time.sleep(10)
    elif requests_num%1000 == 0:
        time.sleep(60)
    elif requests_num%3000 ==0:
        time.sleep(600)
    url = base_url.format(page=i)
    r = requests.get(url, headers=headers, cookies=Cookie)
    Data = r.json()
    print(type(Data))
    data = Data['data']['html']

    com_list = re.findall(comment_pattern,data)
    requests_num+=1
    for com in com_list:

        comment = re.findall(chinese_pattern,com)
        comment = ''.join(comment)+ '\n'
        print(comment)
    time.sleep(1)
        f.write(comment)

f.close()

总结

其实这就已经是一个模板了，只要微博的评论没有改，你换你想要爬取的评论连接上去，一般就可以成功了，当然，你爬取的量太大的话还是会被封的