爬虫重构
2017-06-20 本文已影响13人
薛云龙
1.每个网站的请求数据的格式基本一致,不可能一会json格式,一会xml格式。所以可以通过这点固定每个爬虫的请求格式,基本上网站都不需要传请求格式。
2.通常服务器的校验在host和refer上边。
3.要动脑筋,能程序做的事情,人坚决不能做。
1.每个网站的请求数据的格式基本一致,不可能一会json格式,一会xml格式。所以可以通过这点固定每个爬虫的请求格式,基本上网站都不需要传请求格式。
2.通常服务器的校验在host和refer上边。
3.要动脑筋,能程序做的事情,人坚决不能做。