Python爬虫:让我们来爬取那些令人捧腹大笑的弹幕!
2018-12-31 本文已影响5人
松珏
昨天下午的时候,在B站上看到了许多有意思的弹幕,于是乎就琢磨着如何将弹幕爬下来,到今天终于有所成,现在就分享给大家,另外祝大家在2019年工作顺利、身体健康、财源滚滚,学Python的小伙伴都学有大成!!!
环境准备:
1、我们需要一个B站的账号,并且需要实现先登录,不然就无法查看历史的弹幕记录。
2、一台联网的电脑和用的比较顺心的浏览器,笔者喜欢用的是Chrome(用顺手了。。。)
爬取步骤:
1、我们首先应该登录B站,然后打开需要爬取的视频页面,打开卡发着工具台,Chrome可以使用F12快捷键,选择network监听请求。
2、点击查看历史弹幕,看需要哪些弹幕,获取请求。
其中rolldate后面的数字表示该视频对应的弹幕号,返回的数据中timestamp表示弹幕日期,new表示数目
3、在查看历史弹幕中任选一天,查看,会发出新的请求
dmroll ,时间戳,弹幕号,表示获取该日期的弹幕,1507564800 表示2018/12/30 0:0:0
该请求返回xml数据
4、使用正则表达式获取所有弹幕消息,匹配模式
'<d p=".*?">(.*?)</d>'
5、拼接字符串,将所有弹幕保存到本地文件即可
with open('content.txt', mode='w+', encoding='utf8') as f: f.write(content)
6、参考代码如下,将弹幕按照日期保存为单个文件...因为太多了...
想学Python或者对Python感兴趣的老铁,可以加群571799375,群里有适合Python初学者学习的资料(2018最新版Python资料),免费送给大家!
最终效果
以上就是本文的全部内容了,希望对你有所帮助!
本文来自网络,如有侵权,请联系小编删除!