用beautifulsoup爬取微信公号的二手房信息

这是运用beautifulsoup4的一个简单案例

beautifulsoup4的参考文档

一、目标：爬取网页：

https://mp.weixin.qq.com/s/li7BbNrZy-eOm79D6Eh-mA

网页包括21个表格，每个表格代表一套二手房，并有12个属性信息

二、HTML表格标签的基础知识

参考认识HTML表格元素
HTML表格元素使用table标签，表格元素的所有内容都放置在table的起始标签和结束标签内，表格的行元素使用tr标签，一对tr标签（标签的起始标签和结束标签称为一对标签）表示表格的一行。表格的单元格放置在tr标签内，单元格又分为表头（表格的开头部分）和表格单元格（表格的主体部分），表头使用th标签，表格单元格使用td标签。基本表格结构如下

image.png

三、案例页面的HTML分析

首先我们把整个网页爬取下来，看看内容

headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36'}
url = requests.get('https://mp.weixin.qq.com/s/li7BbNrZy-eOm79D6Eh-mA', headers = headers)
abc= url.text
print(abc)

网页的内容已经被我们储存到了abc变量中：

网页内容

这个内容界面十分不友好，要使用更加高效的工具——开发者工具（Developer tools）来进行分析，主流浏览器都有开发者工具，我用的是360浏览器，对一个表格中的单元格右击，选择菜单的“审查元素”，可以看到要爬取的内容在table标签下，每对tr标签下包括2个td标签，即每行有两个单元格，第一个单元格是字段名，第二个单元格才是每套二手房的位置、价格等信息。只要把这样的标签都提取出来，就可以得到二手房信息

image.png

find_all方法是把所有满足条件的标签都选到，然后返回回去。使用这两个方法，最常用的用法是出入name以及attr参数找出符合要求的标签。
我们用find_all方法提取一下所有的tbody标签，然后用contents属性查看每个表的长度， .contents 属性可以将tag的子节点以列表的方式输出

table=soup.find_all('tbody',attrs={"style":"box-sizing: border-box;"})
for branch in table:
    print(len(branch.contents))

可以看到21个table，每个都有12个子节点，也就是有12行

查看每个table的行数

四、程序实现

import requests
from bs4 import BeautifulSoup
import pandas as pd
url="https://mp.weixin.qq.com/s/li7BbNrZy-eOm79D6Eh-mA"
req=requests.get(url)
mylist=[["跳蚤属性"],["房源小区名字"],["具体位置"],["组团区域"],["户型"],["面积（㎡）"],["价格（元）"],["楼层"],["装修情况"],["其他信息"],["联系人"],["联系电话"]]
soup=BeautifulSoup(req.content,"html.parser")#BeautifulSoup 对象表示的是一个文档的全部内容
for it in soup.find_all('tbody',attrs={"style":"box-sizing: border-box;"}):#将所有标签为tbody的节点内容存入列表，并用it遍历，总共12个元素（楼盘）
    for i in range(len(it.contents)):#i从0到11; .contents属性可以将tag的子节点以列表的形式输出
        print(it.contents[i].contents[1].text)#it的contents是个列表，存储了tr信息，第二次取contents要注意，每个tr节点下面有两个td节点，第二个节点才包含要爬取的信息，text可直接取到该td的内容
        mylist[i].append(it.contents[i].contents[1].text)
out=pd.DataFrame(mylist)
out

爬取结果