Scrapy使用

1. 在调用请求get的url发现参数过多, 直接拼接url又丑又难看, 可以采用FormRequest方法进行, 如:

params = {
            "a": "参数1",
            "b": "参数2"
        }
yield scrapy.FormRequest(url, formdata=params, method="get")

这里查看FormRequest源码得知, 没有指定请求方法时, 默认采用post请求, 如果指定了get方法, 会自动拼接get请求参数