目标：爬取虎嗅网24小时新闻，存入数据库。分析热词
方案：爬虫有多种方案，我们采取requests + lxml/xpath的方案。

1. 使用到的工具

• 编辑器：pycharm
• 框架：requests， lxml/xpath，django

requests

一个简单好用的网络请求库

lxml/xpath

lxml是python的一个解析库，支持HTML和XML的解析，支持XPath解析方式，而且解析效率非常高
XPath，全称XML Path Language，即XML路径语言，它是一门在XML文档中查找信息的语言，它最初是用来搜寻XML文档的，但是它同样适用于HTML文档的搜索
XPath的选择功能十分强大，它提供了非常简明的路径选择表达式，另外，它还提供了超过100个内建函数，用于字符串、数值、时间的匹配以及节点、序列的处理等，几乎所有我们想要定位的节点，都可以用XPath来选择

django

一个web框架，此处用来操作数据库。

2. 大致步骤

1. 分析目标网页，制定爬取策略。
2. 写代码爬取数据。
3. 保存数据。

1. 分析目标网页，制定爬取策略。

分析网页源码，使用浏览器、charles等分析接口请求。一般大量列表的网页的分页大致有两种：

1. 网址分页，即网址中传page来请求，一页一个链接。https://www.kuaidaili.com
2. 使用ajax一个界面实现分页。https://www.huxiu.com/moment

虎嗅的24小时列表采用的是ajax加载的。

#接口：
https://www.huxiu.com/moment/ajaxGetList
#参数：
last_dateline
#返回数据
{
    "success": true,
    "data": {
        "msg": "获取成功",
        "pagesize": 20,
        "total_page": 149,
        "last_dateline": "1558238914",
        "data": " html内容 "
    }
}

他们是以时间来分页的，返回结果包含下次的请请求时间，可以以此来循环请求获取数据。
返回的数据是一个<li>新闻列表，我们只需要遍历每个li，从中取到数据即可。

2. 写代码爬取数据

• 获取源码：

res = requests.post(url, headers=headers, data=data)
res.encoding = 'utf-8'
return res.text

• Xpath 重要: 要熟悉Xpath的使用，http://www.w3school.com.cn/xpath/index.asp

路径表达式

nodename选取此节点的所有直子节点，相当于./
/  选取子节点
//  选取子孙节点

.  从当前节点
..  从当前节点的父节点

@选取属性

• 创建数据库：

使用Django框架操作数据库，步骤：
1，创建好model。
2，执行创建命令。

python manage.py makemigrations
python manage.py migrate

3. 爬取注意

有道德，注意爬取速度
应对反爬虫：

• header随机User-Agent;
• 随机延时;
• 使用代理，

代理分类
判断是否使用成功：http://httpbin.org/get

4. 生成词云图，分析热点

使用wordcloud

1, 数据库读取数据；
2，wordcloud分析；

代码地址

image