适合新手的Python爬虫小程序

介绍：此程序是使用python做的一个爬虫小程序 爬取了python百度百科中的部分内容，因为这个demo是根据网站中的静态结构爬取的，所以如果百度百科词条的html结构发生变化 需要修改部分内容。

逻辑步骤:1.主程序部分，主要初始化程序中需要用到的各个模块分为(1)链接管理模块。(2)链接下载保存模块 (3)解析网页模块 (4)输出解析内容模块，然后就是写抓取网页内容的方法。

下边为爬取方法代码：

image

2.链接管理模块 中实现四个方法
a.向存储链接的表中添加需要爬取的新的链接add_new_url b. 批量添加新链接 add_new_urls
c.判断链接表中是否有待爬取的新链接has_new_url
d.取一个待爬取的新链接 并将这个链接从链接表中移除（防止重复爬取相同内容）get_new_url

部分代码：

image

3.链接下载模块

使用urllib2进行需要爬取的链接的下载 （文末附上urllib2开发文档链接）最后，如果你的时间不是很紧张，并且又想快速的提高，最重要的是不怕吃苦，建议你可以联系维：762459510 ，那个真的很不错，很多人进步都很快，需要你不怕吃苦哦！大家可以去添加上看一下~

image

4.网页解析模块

网页解析使用beautifulsoup4库进行操作（文末附上beautifulsoup4开发文档链接）

image

5.输出内容

将爬取的内容以html形式保存在本地（代码成功运行后再工程project下刷新会有一个html文件）

image