2018-06-22
2018-06-22 本文已影响0人
神仙过海
python爬虫完整步骤
一、爬虫主题：
爬取网络小说（目录和内容），保存在本地或数据库中。
url网址：http://www.shuge.net/html/104/104326/
小说题目:二狗的人生
二、涵盖知识点 ：
1、库的引用
2、网页请求
3、内容解析（正则表达式）
4、文件保存
5、面向对象方法
三、环境准备：
本人采用的是win10系统，pycharm开发环境，python3.5版本语言，mysql5.7版本数据库。
不同版本会有所差别，注意细节。
四、正式开始：
需要用到的库：urllib(对应python3版本），re（正则），pymysql(对应python3版本）
上图：
1，
屏幕截图(3).png
2，
3，
屏幕截图(5).jpg
4，
屏幕截图(6).jpg
5，保存在本地结果显示：
屏幕截图(7).jpg
6，保存在数据库显示：
屏幕截图(2).png
五，评点：
上传的图片不知道大家看不看得到，因为想到转成文字可能会很多，所以就传的图片，仅供来分享和参考。区区50行代码，就能做出一个完整系列的爬虫，就本身也是一个菜鸟来说，还是有一点小小的成就感。有需要的可以保存，值得交流的地方欢迎随时探讨学习经验，再见@
