scrapy框架学习笔记 - 4- 爬虫文件代码分析
2022-09-05 本文已影响0人
客场王子Kin
1 以上是前一节创建的爬虫代码文件
2 代码分析
name ：标识蜘蛛。它在一个项目中必须是唯一的，即不能为不同的爬行器设置相同的名称。
start_urls: 将要爬取的网址列表
allowed_domains: 只爬取以下域名的数据
def parse(self,response): 输出处理爬取数据的地方，print（response.text）是打印爬取的全部网页数据
