如何用 Python 爬取网页制作电子书
2017-12-28 本文已影响47人
孙亖
有人爬取数据分析黄金周旅游景点，有人爬取数据分析相亲，有人大数据分析双十一，连小学生写论文都用上了大数据。
我们每个人每天都在往网上通过微信、微博、淘宝等上传我们的个人信息，现在就连我们的钱都是放在网上，以后到强人工智能，我们连决策都要依靠网络。网上的数据就是资源和宝藏，我们需要一把铲子来挖掘它。
最近，AI 的兴起让 Python 火了一把。实际上 Python 拥有庞大的第三方支持，生态系统非常完整，可以适用各种场景和行业。这次，我们准备通过 Python 学习爬虫的开发，既简单有趣，而且是数据采集重要一环。同时脱离应用谈技术就是耍流氓，通过制作电子书学习数据的收集与整理，即能学到东西又有实用价值。
我们将通过爬取网页信息这个很小的应用场景来体会数据预处理的思想，并从中学习了解数据处理中抓取、处理、分组、存储等过程的实现。我这次分享主要分为以下几个部分：
Python 语法的讲解，通过分享掌握简单的 Python 开发语法和思路，侧重于后面爬虫开发的需要用的内容
Scrapy 爬虫开发，通过分享了解基本的 Scrapy 开发，并实现从网络爬取数据
使用 Sigil 制作 epub 电子书
最后，我希望通过分享能够入门，并喜欢上 Python 开发，并且掌握 Scrapy 爬虫开发的思路和方法。
