目录

1. 分析需求
2. 需求分类
3. 你的选择

---

1. 分析需求

分析自己的需求，问自己：需要解决的问题，是否可以在3小时内纯手工的收集？如果不可以，那么再考虑【爬虫】。下面是常见的需要收集数据的需求，这些完成需求的步骤。如果这些步骤很简单/很少，那么请直接手工收集吧。

---

2. 需求分类

第一类/第二类/其他类

2.1 第一类

关注某个事件的动态，以关键词作为切入点跟踪某个事件：我想知道大家关于这件事情的态度。

你要做的：

限定新闻网页的来源，找到出现关键词的新闻网页，运行爬虫收集这些网页，从网页标签中收集文本，分析文本

如何做：

1. 准备关键词
2. 限定新闻网页的来源
3. 运行爬虫收集

• a. 模拟搜索请求
• b. 获得搜索结果网页
• c. 收集新闻标题和相应链接，收集翻页和相应链接
• d. 访问对应新闻页面，收集该页面
• e. 模拟翻页请求，获得新的一页结果页
• f. 对页面进行信息抽取，将需要的信息存储在本地

举例：

【房地产报道热度变化趋势：以财经网为主】：我想知道关于这方面的新闻，大家在谈论什么其他相关的关键词，报道是乐观居多还是悲观居多，不同的信息来源的报道偏重是什么，随着时间的推移，报道的热度有什么变化？

1. 准备关键词：房地产，房产，地产，房屋，房奴，地税

2. 限定新闻网页的来源：财经网

   
   财经网
3. 运行爬虫收集

• a. 模拟搜索请求

  
  财经网 - 输入搜索

• b. 获得搜索结果网页

  
  财经网 - 获得搜索结果

• c. 收集新闻标题和相应链接，收集翻页和相应链接

  
  财经网 - 收集每个新闻

• d. 访问对应新闻页面，收集该页面的信息

  
  财经网 - 查看一个新闻

• e. 模拟翻页请求，获得新的一页结果页

  
  财经网 - 翻页

• f. 对页面进行信息抽取，将需要的信息存储在本地（e.g., 以表格的形式存储）

  
  用表格记录信息

2.2 第二类

收集某个网站上的指定内容：我想收集它们进行分析

你要做的

确定收集的路径，运行爬虫收集这些信息

怎么做

1. 指定路径
2. 指定收集信息点
3. 确定访问动作访问
4. 收集预期的信息点
5. 存储数据
6. 重复刚才的动作

举例

【收集亚马逊在线购物网站上所有智能手机的买家评论】：看看我能从中发现什么

1. 指定路径：指定手机的商品评论

   
   亚马逊(中国)-手机

2. 指定收集信息点：对应商品列表

   
   亚马逊(中国) - Apple iPhone

3. 确定访问动作访问：每一个商品网页的点评区

   
   亚马逊(中国) - 商品评论

4. 收集预期的信息点

   
   商品评论 - 评分 - 赞同数据

5. 存储数据
   (略)

6. 重复刚才的动作：选择一个手机/每一个商品/每一条评论

【财经网】：价格波动

1. 收集股票代码：这些是收集的候选名单

   
   一些需要收集的股票

2. 访问股票对应网页：选择访问某个股票的信息页

   
   股票页面

3. 收集信息点：各种指标/数值

   
   各种有价值的数据点 (示例)

4. 存储：把你喜欢的信息收集到文件里
   (略)

5. 重复刚才的工作：收集下一个股票的信息

2.3 其他类

我没给类型起名字因为我不知道我这么分类是否正确，不过一般我遇到的爬虫需求就这两个了。

---

3. 你的选择

以上就是一个“爬虫”能完成的事情，换句话说，程序能完成这些工作，那么你想要写程序吗？

如果你只要收集财经网，你可以直接手工收集，但如果你还要收集彭博网、澎湃新闻、网易新闻、搜狐新闻、百度新闻......呢？（当然是手工收集啦哈哈哈哈哈哈哈）