获取微信公众号所有历史文章链接地址

2017-04-19 本文已影响3714人力气强

在线工具：微信文章转PDF
2018.1.29

提前声明：本文不介绍具体的代码部分，只提供思路。具体代码部分较为复杂，文章末尾会列出参考网址。

前面有写过一篇文章：《将微信公众号所有历史文章保存为PDF电子书》。方法的第一步是通过Fiddler 抓包的方式，获取微信公众号可以在浏览器中打开的历史文章链接。

可惜的是，等我再次想要运行程序时，上面的第一步已经失效了。可能是微信那边为了反爬虫又改了规则吧。

所以在我的不断寻找、实践和学习下，又找到了一个方法，这个方法应该是目前的最优解了。

此方法的原理

也是基于代理服务器，不过这次不会获得一个链接在浏览器中打开，而是直接通过代理服务器获得微信和服务器之间的传输数据，从传输数据中一层一层地提取出目标数据。

代理服务器原理

引用网上的一句话：

代理服务器是个中间人，站在了客户端和服务端中间，双方通信的每个比特，都会滴水不漏地经过它。它控制了完整的请求头、请求体、响应头、响应体，可以在客户端与服务端都无感知的情况下介入处理所有的流程。只要代理服务器可以实现灵活配置，前端工程师们的奇葩需求就有出头之日了。

代理服务器的轮子：AnyProxy，基于语言Node.js 实现的。

AnyProxy 有开放了http 通信过程各个阶段的API 接口，可以让开发者实时干预通信过程，然后完成各类自定义的需求。

本次实现过程，完全脱离了上篇文章用到的Python 代码部分，而是由目前较为流行的JavaScript 编程语言作为基础来实现。

注：Node.js 是在后端（脱离浏览器环境）运行的JavaScript 代码。

电脑终端运行AnyProxy，使手机与电脑处于同一网络环境，然后在手机WiFi 设置中手动配置HTTP 代理地址与端口。
设置好之后，手机上的所有请求与响应均会通过此中间人AnyProxy，且其请求URL 都会显示在终端。
明确目标：抓取微信公众号历史页的文章链接地址。
设置AnyProxy 规则，判断当请求页面是微信历史页时，解析其从服务器端返回的数据，获得文章链接。
作为中间人的AnyProxy 不仅可以获得Response 消息，且可以修改其内容，所以可以添加一串自定义js 代码在Response 中，功能是使网页不断下拉至最低端，这样在手机端的页面便可以自动下拉页面。然后便可以不断的向服务器请求文章列表。（微信历史页是Ajax 请求，当网页浏览至至最低端时，会触发请求更多的数据，直至此公众号最早的一篇文章。）
第5步的每次请求都会再次调用第4步的解析规则，解析之后将url 保存至文本文件中即可。（当然也可以细分title、date和url 等字段，保存至数据库）
得到了历史文章链接，便可以通过爬虫批量拿到所有文章的内容等数据了。具体可参考我上篇文章《将微信公众号所有历史文章保存为PDF电子书》。

手机打开历史消息页后，即触发了连接网页的事件，这时便会自动下拉至最早的文章，终端会提示抓取到的文章标题，然后桌面也会新增一个文本文件用来保存对应的文章链接。

用此AnyProxy 直接获取每一篇文章的内容，包括点赞量和阅读量，而不需经过其他程序。