Python网络爬虫遇到一些非代码9问题

了解更多关注微信公众号“木下学Python”吧~，获取更多爬虫示例吧
原文：https://blog.csdn.net/zjkpy_5/article/details/80887981

1.爬虫程序运行没问题，但没显示结果或结果不全

1)有些网站针对每一个ip，单位时间内只能访问一定次数，至于单位时间是多少看网站规定吧，超过这个次数就不能访问爬去           了，就只有等了，等多久，看那个网站的规定吧

2)可以运行，没有结果，那要么是选择器问题，换一个选择器；要么是选择器里面的内容有问题导致没有

       爬取到结果

2.请求头 报错

    HTTP请求包括：一个请求行，若干请求头，实体内容

        1、http请求细节----请求行：

            1）请求方式：post、get、head、options、delete、trace、put;

            2)常用post、get

            3)post、get区别：表现在数据传递上

            A)get方式可在url地址后以?形式带上交给服务器的数据，多个数据之间以&分隔，但数据容量不能超过1k;

            B)post可在请求的实体中向服务器发送请求，传送数据量无限制

        2、http请求头 

            Accept：告诉服务器  客户机支持的数据类型

            Accept-Charset：告诉服务器，客户机采用的编码

            Accept-Encoding:告诉服务器，客户机支持的压缩格式

            Accept-Language:客户机的语言环境

            Host:客户机通过这个头告诉服务器想访问的主机

       3、例如：headers = {
                      'user-agent':'Mozilla/5.0 (Windows NT 10.0; WOW64)AppleWebKit/537.36 (KHTML, like Gecko)                                                Chrome/67.0.3396.99                              Safari/537.36'

        }

                     ：两边都分别用引号括起来，开头不允许有空格

      4、有些有着反爬机制的网站，请求头要写全，否则会被屏蔽，或者报错

3.抓取url

   最好用.xpath

4.UnicodeEncodeError

    在写入文本中是会出现，用try：except：pass掉

5.集合减集合

    set(link_list) - set(exist_url)

    去掉重复的元素

6.AJAX：

在 XHR 里面不显示数据的话，只能在 ALL 哪些文件里面找 对应的文件的 json 数据

7.\r:

   代表 删除后面的字符

8.拼接url：

params = {
'offset': offset,
'format': 'json',
'keyword': '街拍',
'autoload': 'true',
'count': '20',
'cur_tab': '1',
'from': 'search_tab'
}
base_url = 'https://www.toutiao.com/search_content/?'
url = base_url + urlencode(params)

9.访问遇见403：