Python 开发python爬虫实战Python爬虫作业

Python 爬虫糗事百科插入MySQL数据库

2017-05-27  本文已影响191人  高杆python

参加向右奔跑老师爬虫小分队二期学习已经快一周的时间啦,之前完成的三篇作业一直都是关于Python程序逻辑的训练,虽然之前有过使用BeautifulSoup爬去简单网页数据的尝试,但是对网页结构化数据的抓取还从来没有尝试过,通过这几天参考同学们完成的作业和彭老师推荐的简书文章,今天尝试一次爬虫糗事百科数据(数据包括:作者,性别,年龄,段子内容,好笑数,评论数),并插入MySQL数据库。
代码如下:

import requests
from bs4 import BeautifulSoup
import re
import pymysql
#链接MySQL数据库
connect = pymysql.connect(
    host='localhost', 
    user='root', 
    passwd='root',  
    db='test',  
    port=3306,  
    charset='utf8'
    )
# 获取游标
cursor = connect.cursor()
#请求头
headers = {
  'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'
}
def get_data(url):
    #模拟浏览器访问网页
    html = requests.get(url,headers).content
    #lxml解析网页内容返回给soup
    soup = BeautifulSoup(html,'lxml')
    #find_all得到所有包含目标内容的div的集合
    div_list = soup.find_all(name = 'div', class_ = 'article block untagged mb15')
    #for循环分别读取div集合中的目标数据
    for div in div_list:
        #定位获取作者名字数据
        author = div.find('h2').text
        #正则表达式定位获取性别年龄信息数据(匿名用户无信息需特别处理)
        genders = div.find(name = 'div', class_ = re.compile('articleGender .*'))
        if genders == None:
            gender = 'Null'
            age = 'Null'
        else:
            gender = genders.attrs['class'][1][:-4]
            age = genders.text
        #定位获取内容数据
        content = div.find('span').text
        #定位获取好笑数数据
        
        funny_nums = div.find(name = 'span', class_ = 'stats-vote').find('i')
        if funny_nums == None:
            funny_num = 0
        else:
            funny_num = funny_nums.text
        #定位获取评论数数据
        comment_nums = div.find(name = 'span', class_ = 'stats-comments').find('i')
        if comment_nums == None:
            comment_num = 0
        else:
            comment_num = comment_nums.text 
        #选择test数据
        cursor.execute("use test")
        #执行insert插入语句
        cursor.execute("insert into qiushibaike_tbl (author,gender,age,content,funny_num,comment_num) values(%s,%s,%s,%s,%s,%s)",(author,gender,age,content,funny_num,comment_num)) 
        #不执行不能插入数据
        connect.commit()
        
if __name__ == '__main__':
    #分别构建1-35页的url
    for i in range(1,36):
        url = 'http://www.qiushibaike.com/text/page/'+str(i)+'/?s=4986178'
        get_data(url)
    #关闭数据库链接,释放资源
    connect.close()
    print('SUCCESS!')
插入数据库

第一次完成网页结构化数据的抓取,几乎每一段程序代码都加了注释说明,成功爬到糗事百科35页699条数据,并存入本地搭建的MySQL数据库,存在一个问题向大家请教,糗事百科的匿名用户的年龄和性别不存在,直接判断过滤,但是匿名用户的段子内容数据没有抓到和插入数据库,程序执行过程也没有报任何错误!还请哪位大神看出问题所在后,留言指点!拜谢!拜谢!


上面的问题感谢罗罗攀Mr_Cxy的帮忙解答,问题还是对网页结构分析的不够透彻,没有发现匿名用户和非匿名用户的网页结构不同,没法直接用 content = div.find('span').text直接获取数据匿名用户的段子内容数据,需要分开处理,用 content = div.find_all('span')[2].text或者= div.select('span')[2].text获取获取数据匿名用户的数据,下面是修改后的程序代码:

import requests
from bs4 import BeautifulSoup
import re
import pymysql
#链接MySQL数据库
connect = pymysql.connect(
    host='localhost', 
    user='root', 
    passwd='root',  
    db='test',  
    port=3306,  
    charset='utf8'
    )
# 获取游标
cursor = connect.cursor()
#请求头
headers = {
  'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'
}
def get_data(url):
    #模拟浏览器访问网页
    html = requests.get(url,headers).content
    #lxml解析网页内容返回给soup
    soup = BeautifulSoup(html,'lxml')
    #find_all得到所有包含目标内容的div的集合
    div_list = soup.find_all(name = 'div', class_ = 'article block untagged mb15')
    #for循环分别读取div集合中的目标数据
    for div in div_list:
        #定位获取作者名字数据
        author = div.find('h2').text
        #正则表达式定位获取性别年龄信息数据(匿名用户无信息需特别处理)
        genders = div.find(name = 'div', class_ = re.compile('articleGender .*'))
        if genders == None:
            gender = 'Null'
            age = 'Null'
            #定位获取匿名用户段子内容数据
            content = div.find_all('span')[2].text
        else:
            gender = genders.attrs['class'][1][:-4]
            age = genders.text
            #定位获取非匿名用户段子内容数据
            content = div.find('span').text
        #定位获取好笑数数据
        funny_nums = div.find(name = 'span', class_ = 'stats-vote').find('i')
        if funny_nums == None:
            funny_num = 0
        else:
            funny_num = funny_nums.text
        #定位获取评论数数据
        comment_nums = div.find(name = 'span', class_ = 'stats-comments').find('i')
        if comment_nums == None:
            comment_num = 0
        else:
            comment_num = comment_nums.text 
        #选择test数据
        cursor.execute("use test")
        #执行insert插入语句
        cursor.execute("insert into qiushibaike_tbl (author,gender,age,content,funny_num,comment_num) values(%s,%s,%s,%s,%s,%s)",(author,gender,age,content,funny_num,comment_num)) 
        #不执行不能插入数据
        connect.commit()
        
if __name__ == '__main__':
    #分别构建1-35也的url
    for i in range(1,36):
        url = 'http://www.qiushibaike.com/text/page/'+str(i)+'/?s=4986178'
        get_data(url)
    #关闭数据库链接,释放资源
    connect.close()
    print('SUCCESS!')
上一篇下一篇

猜你喜欢

热点阅读