【Scrapy坑】 URL中数字类型错误 导致url中的数字不能

2019-07-02  本文已影响0人  Python岳

咕咕咕咕~~~~
额,群里一好友在上个星期的时候,问我:【为什么我写的scapy代码,不能翻页了】
然后丢给我压缩包。
然后……

咕咕咕,我鸽了好几天。咕~~~~~

class WorldSpider(scrapy.Spider):
    name = "world"
    allowed_domains = ["j****.com"]
    base = 'http://www.****/xinwen/****'
    set = "1"
    end_url = '.html'
    start_urls = [base + str(set) + end_url]


······

        #问过他本人,他考虑的是人工组合一下url
        if self.set < 15:
            self.set += 1
            url = self.base + str(self.set) + self.end_url
            
            print self.set
            yield scrapy.Request(url, callback=self.parse)

原始代码的部分截取,
代码中的set = "1",
下面有需求,
需要组合成http://www.dsdfsdf.cm/{set}.html
数字自增,要int类型,
二话不说,直接改成set = 1
运行一下代码,
编辑器报了一些错误:
具体是url这块的类型有问题,但是又没有严重影响url
不考虑严谨性,就这样了。

上一篇下一篇

猜你喜欢

热点阅读