爬虫软件的介绍及案例说明
采集系列文章
▶爬虫软件的介绍及案例说明（本文）
案例一：采集京东商品列表页数据（文章链接）
案例二：采集京东商品详情（文章链接）
案例三：采集京东商品评论（文章链接）
案例四：采集花瓣网的图片（文章链接）
附加：如何通过链接URL批量下载图片（文章链接）
大家一听到爬虫，可能就马上联想到编程代码，然后就心生害怕。其实，现在有很多智能的爬虫软件，他们能够超智能超快速地帮你完成爬虫任务，采集到你想要的数据。
一、采集软件
现今市面上出现了越来越多的采集器，从功能以及使用便捷度这两个方面，我觉得八爪鱼采集器和后羿采集器是最优的。这两个也是我最常用的采集器，它们各具优势。八爪鱼采集器提供了很多智能采集的模板，使用起来非常简便；而后羿采集器在智能采集方面较为薄弱，但是在人工流程采集上面会比八爪鱼更优。
关键是它们都有提供免费版本的，免费版本几乎能够满足我们绝大多数的需求！可以去官网免费下载软件，官网地址如下：
①八爪鱼采集器：https://www.bazhuayu.com/
②后羿采集器：http://www.houyicaiji.com/
☆注：官网上的使用教程做得非常好，有时间可以去学习一下！
二、采集器的优势
①智能采集：
提供多种网页采集策略与配套资源，帮助整个采集过程实现数据的完整性与稳定性。
②全网适用：
眼见即可采，不管是文字图片，还是贴吧论坛，支持所有业务渠道的爬虫，满足各种采集需求。
③简单易用：
无需再学爬虫编程技术，简单三步就可以轻松抓取网页数据，支持多种格式一键导出，快速导入数据库。
三、两种采集模式
①人工流程采集：
可视化操作流程，根据提示在网页上点选内容即可生成采集规则，可以模拟任何人为操作。（流程模式添加了自动识别功能，使用起来也比较便捷）
②智能模板采集：
八爪鱼的热门采集模板
基于人工智能算法，输入网址即可自动识别网页内容和分页，无需配置采集规则，一键采集。
☆注：新手推荐使用智能模式！
四、具体案例应用
案例一：采集京东商品列表页的商品数据
京东商品搜索页
可以爬取以下的信息类型：
1）商品基本信息：商品名称、价格、SKU、总评价数
2）店铺信息：店铺名称、店铺ID
3）链接类：店铺链接、商品详情链接、评价详情链接、图片链接
作用：
1）爬取京东某个三级品类综合排名前200的商品SKU，可以用来进行竞品人群投放
2）了解综合排名前列的产品品牌、价格分布情况
3）爬取的商品详情链接可用来做后续的商品详情采集，图片链接可用来做后续的主图采集
案例二：采集京东商品详情
京东某款产品的商品选购页
京东某款产品的商品介绍
可以爬取以下的信息类型：
1）商品基本信息：价格、标题、商品的属性、SKU、评论数、商品基本参数等
2）店铺信息：店铺名称、店铺星级
3）促销信息：促销_赠品、优惠券、促销
4）其他信息：售后服务、物流履约
5）链接类：商品轮播图链接
作用：
1）能够快速地收集到其他商品的促销信息
2）通过轮播图链接快速收集到所有的轮播图
案例三：采集京东商品评论
京东某款产品的商品评价
可以爬取到以下信息：
1）用户信息：用户名、用户级别
2）商品信息：商品属性、SKU
3）评价信息：评价星级、评价内容、评价时间、评价的点赞数及评价数、追评内容及时间
4）链接类：评论图片链接
作用：
1）对评论进行情感分析，了解用户满意与不满意的地方
2）制作成词云，了解用户对产品的关注点
3）采集用户的评论图片
案例四：采集花瓣网的图片
