虫虫python学习Python学习资料整理

python使用代理处理反爬抓取微信文章

2019-05-14  本文已影响15人  9ba4bd5525b9

1.分析网页确定思路

我们这次准备爬取搜狗的微信搜索页面的结果,以风景为例:

可以看到这和我们之前爬取过的案例几乎类似,没什么新意,但是这里有一个比较神奇的地方就是10页以后的内容需要扫码登录微信才能查看

另外,在请求次数过多的时候还会出现封禁 ip 的情况,对应我们页面的状态码就是 出现 302 跳转

思路梳理:

(1)requests 请求目标站点,得到索引页的源码,返回结果

(2)如果遇到 302 则说明 ip 被封,切换代理后重试

(3)请求详情页,分析得到文章标题和内容

(4)将结构化数据保存到 MongoDB 数据库

注意点:

我们直接看浏览器的地址栏我们能看到很多的参数,但是实际上很大一部分是不需要的,那么为了我们的写代码的方便,我们尽量对参数进行简化,只留下最核心的参数

2.代码实现

config.py

# 数据库配置

MONGO_URL = 'localhost'

MONGO_DB = 'weixin'

MONGO_TABLE = 'articles'

#参数设置

KEYWORD = '风景'

MAX_COUNT = 5

BASE_URL = 'https://weixin.sogou.com/weixin?'

#代理设置

APP_KEY = ""

IP_PORT = 'transfer.mogumiao.com:9001'

PROXIES = {"http": "http://" + IP_PORT, "https": "https://" + IP_PORT}

HEADERS = {

    'Cookie':'',

    'Host':'weixin.sogou.com',

    'Upgrade-Insecure-Requests':'1',

    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36',

    'Proxy-Authorization': 'Basic '+ APP_KEY,

    'Referer':'https://weixin.sogou.com/weixin'

}

spider.py

3.运行效果

上一篇下一篇

猜你喜欢

热点阅读