python爬虫day-10（urllib库-分析Robots协
2019-04-15 本文已影响0人
南音木
个人学习笔记，方便自己查阅，仅供参考，欢迎交流
分析Robots协议
利用robotparser模块，可以实现网站Robots协议的分析。利用它,我们可以方便地判断哪些页面可以抓取，哪些页面不可以抓。
1.Robots 协议
Robots协议也称作爬虫协议、机器人协议，用来告诉爬虫和搜索引擎哪些页面可以抓取，哪些不可以抓取。它通常是一个叫作 robots.txt的文本文件,一般放在网站的根目录下。
2.爬虫名称
3.robotparser
urllib.robotparser.RobotFileParser(url='')
from urllib.robotparser import RobotFileParser
rp = RobotFileParser()
rp.set_url('http://www.jianshu.com/robots.txt')
rp.read()
print(rp.can_fetch('*','http://www.jianshu.com/p/b67554025d7d'))
print(rp.can_fetch('*',"http://www jianshu.com/search?q=python&page=l&type=collections"))
