【Scrapy坑】 URL中数字类型错误 导致url中的数字不能
2019-07-02 本文已影响0人
Python岳
咕咕咕咕~~~~
额,群里一好友在上个星期的时候,问我:【为什么我写的scapy代码,不能翻页了】
然后丢给我压缩包。
然后……
咕咕咕,我鸽了好几天。咕~~~~~
class WorldSpider(scrapy.Spider):
name = "world"
allowed_domains = ["j****.com"]
base = 'http://www.****/xinwen/****'
set = "1"
end_url = '.html'
start_urls = [base + str(set) + end_url]
······
#问过他本人,他考虑的是人工组合一下url
if self.set < 15:
self.set += 1
url = self.base + str(self.set) + self.end_url
print self.set
yield scrapy.Request(url, callback=self.parse)
原始代码的部分截取,
代码中的set = "1",
下面有需求,
需要组合成http://www.dsdfsdf.cm/{set}.html
数字自增,要int类型,
二话不说,直接改成set = 1
运行一下代码,
编辑器报了一些错误:
具体是url这块的类型有问题,但是又没有严重影响url
不考虑严谨性,就这样了。