Scrapy 框架中的用户代理池和常用设置（二十八）

一、用户代理池的设置和类的编写

• 在settings.py文件中进行设置，其变量是一个列表，列表中为UA代理。
• 编写随机UA代理中间件类来随机选择UA代理

二、 设置优先级的常用设置

1、命令行选项(优先级最高)

2、设置per-spider

3、项目设置模块

4、各命令默认设置

5、默认全局设置(低优先级)

三、常用项目设置

1、BOT_NAME---项目名称。

2、CONCURRENT_ITEMS-----item处理最大并发数，默认100。

3、CONCURRENT_REQUESTS----下载最大并发数。

4、CONCURRENT_REQUESTS_PER_DOMAIN---单个域名最大并发数。

5、CONCURRENT_REQUESTS_PER_IP---单个ip最大并发数。