爬虫问题 | 记录与总结

问题记录

Q1：BeautifulSoup(content, "html.parser") 会修改标签的位置

Q2：Ajax 异步请求有时候需要明确声明 / 当请求同一 url 却返回结果不同时的对策

情况是如下图所示：

当请求同一 url 却返回结果不同时，对策：

1. 对照左右请求报文，找出请求报文headers中不同之处；
2. 接着，把成功请求报文headers有的字段而失败请求报文headers没有的字段，加到失败请求报文headers中
3. 肯定成功

分析原因：多了一个 'X-Requested-With' 字段后就成功了，说明有些 ajax异步请求需要明确地说明，有些不需要，这跟服务器有关。