Python-解析Robots文件
2018-11-29 本文已影响14人
miraclehen
以解析百度的Robots文件为例。
import urllib.robotparser
rp = urllib.robotparser.RobotFileParser()
rp.set_url('http://www.baidu.com/robots.txt')
rp.read()
print(rp.can_fetch('Googlebot', 'https://www.baidu.com/baidu'))
print(rp.can_fetch('Baiduspider', 'https://www.baidu.com/cpro'))
