用Python爬取百度贴吧帖子

一、介绍

前前后后拖了很久的一个爬虫纯原创我心中的NBA2014-2015赛季现役50大，一般的抓取信息还是蛮简单的，但这个爬虫在于有些楼层是含图片的，这样我们抓取下来就会有<img.*?>之类的东西，很难受；还有就是这个爬虫告诉我们当正则走投无路时BeautifulSoup或许是个不错的选择，在匹配数据的时候很好用

二、流程

• 目标站点分析
  用浏览器打开纯原创我心中的NBA2014-2015赛季现役50大，开始审查元素，没什么特别的，很基础的网页结构，但在抓取楼层号和时间的我们发现问题了——我(艹皿艹 )这让我怎么写正则，还有天理吗？？？
  1.0

2.0

• 客官莫慌，我们有标签选择器
  标签选择器的写法也有很多种，我这里是参考大邓的写法，还蛮好理解的

• 开启循环，批量抓取

• 保存数据至文本

三、代码

import requests
from requests.exceptions import RequestException
import re
import json
from bs4 import BeautifulSoup   #都是基本的几个库

def get_one_page(url):
    try:
        response=requests.get(url)
        if response.status_code == 200:
            return response.text
        return None
    except RequestException:
        return None

def get_the_number():
    a = input("是否只获取楼主发言，是输入1，否输入0：")
    a = int(a)
    if a == 1 or a == 0:
        if a == 1:
            print("只看楼主模式>>>")
            write_to_file("只看楼主模式>>>")
        else:
            print('普通模式>>>')
            write_to_file("普通模式>>>")   #这部分我还是比较满意的
    pattern = re.compile('<h3 class="core_title_txt.*?>(.*?)</h3>.*?'
                         +'<span class="red".*?>(.*?)</span>.*?<span '
                          +'class="red">(.*?)</span>.*?</div>', re.S)   #为了匹配准确我把正则写的不那么“正则”
    html=requests.get('https://tieba.baidu.com/p/3138733512?see_lz='+str(a)).text
    result=re.search(pattern,str(html))
    if result:
        print('标题：', result.group(1))
        print('回复数：',result.group(2))
        b= result.group(3)
        print('页数：',b)
    else:
        print('获取页数信息失败')
    return a,b   #return多个对象，没毛病

def get_the_floor_time(html):   #把楼层号和时间的信息搞出来
    soup = BeautifulSoup(html, 'lxml')
    items=soup.find_all('span',{'class':'tail-info'})   #嗯，这里就用标签选择器来选择楼层号和时间
    pattern = re.compile('<span class="tail-info">(\d.*?)</span>', re.S)   #再用正则匹配，这个时候一定要细心，一开始我写的是'<span class="tail-info">(\d.*?)</span>，'结果最后一个日期就匹配不到，具体原因看items，仔细看！
    items = re.findall(pattern, str(items))
    return items   #这里得到的items是一个列表，返回它就好，之后再输出

def get_the_content(html):   #输出帖子的楼层内容并且把<img....>之类的删了
    soup = BeautifulSoup(html, 'lxml')
    contents=soup.find_all('div',{'class':'d_post_content j_d_post_content '})
    if contents:
        items=get_the_floor_time(html)
        i=-1
        for content in contents:
            content=content.get_text().strip()   #得到楼层内容的纯文本
            i=i+1
            print(items[2 * i])
            write_to_file(items[2 * i])   #写入数据
            print(items[2 * i + 1])
            write_to_file(items[2 * i + 1])
            print(content)
            write_to_file(content)
            print('----------------------------------------------------------------------------------------------------')
            write_to_file('-------------------------------------------------------------------------------------------')
    else:
        print("获取帖子内容失败")

def write_to_file(content):   #这基本是标配了
    with open('bdtb_result.text','a',encoding='utf-8') as f:
        f.write(json.dumps(content,ensure_ascii=False)+'\n')
        f.close()

def main():
    c = get_the_number()   #得到的是get_the_number()的返回值，一个列表
    a=(c[0])
    b=int(c[1])   #这里要int，b代表的是页数，得到b，我们就知道要循环多少次了
    for b in range(1,b+1):
        url = 'https://tieba.baidu.com/p/3138733512?see_lz='+str(a)+'&pn='+str(b)
        get_one_page(url)
        html=get_one_page(url)
        get_the_content(html)
        
if __name__=='__main__':
        main()

四、最后得到的数据视图和文件

3.0

五、总结

1.要好好利用工具，遇到问题多问度娘
2.在这里最初的想法是把每个楼层的用户名也打印出来的，运行到300多层的时候总是报错，等我找到好的解决办法再po上来
3.未完待续.....