1.背景

上次通过stata爬取了教育部的政策文件数据，大概了解了爬取数据思路以及正则表达式方面的知识。

但是，用stata在清洗时确实比较费力。

这不，前段时间安装了stata 16，新功能（官方介绍New in Stata 16）中有个比较亮眼的功能，

就是可以在stata中写python语句，调用python的包进行数据处理，

这就给了很大动力去学习python爬虫，

这样的话，就可以实现python爬取数据，再用stata进行处理分析，用stata和python结合出报告啦~

想想都激动呢~

因此，以链家北京在售二手房数据为例，花了2天时间学习并爬取了共84278条数据~

2.学习过程

• 找学习帖子：找了不少帖子也看了不少python爬取链家数据的帖子，有的要么太简单，有的要么没有注释，完全不知道思路，最后找到了这篇学习帖子：python爬取链家网的房屋数据

• 准备工具：随便度娘就可以实现；

  • 下载好python3；
  • 下载好sublime3；
  • 在sublime 3中进行配置，可以执行运行python；
  • 安装chrome浏览器及Xpath插件；

• 学习过程：

  • 按照学习帖子，将帖子中的代码一行一行敲下来；
  • 然后，一段一段地去理解和运行，不懂就度娘；
  • 因为学习帖子里是爬取二手房交易数据，而需求是爬取二手房在售数据，所以，在理解代码之后，根据需求调整修改代码；

• 经过上述过程，最后得到了爬取链家北京在售二手房数据的代码，代码如下：

  3. 爬取代码

  正如帖子里所述，爬取思路主要是，先获得每个房屋的链接，再对每个房屋页面内的数据进行提取。

  获得每个房屋的链接的代码见：【实战】 python爬取链家北京在售二手房数据（一）

  接着是，对每个房屋页面内的数据提取的代码：

  这个代码虽然有些长，但理解了前部分的帖子，这个就很好理解了，主要是字段获取有些长了~

  研究了半天没研究好怎么添加线程，目前这个只有17个线程，跑起来比较慢，差不多将近10个小时了~

  以后接着学习吧~

  代码如下：

  # 获取链接html,urllib.request.urlopen
  import urllib.request
  # 取消证书验证
  import ssl 
  # 解析html,xpath
  from lxml import etree
  # 正则表达式,re.findall
  import re
  # 线程
  import threading
  # 导入csv
  import csv
  
  # 全局取消证书验证
  ssl._create_default_https_context=ssl._create_unverified_context
  
  # 获取页面
  def get_page(url):
    page=urllib.request.urlopen(url,timeout=15)
    html=page.read().decode('utf_8')
    return html
  
  # 读取文件
  def read_file(path_file):
    with open(path_file,'r') as file:
        lines=file.readlines()
    return lines
  
  # 把中文数字转为阿拉伯数字
  def zw2alb(zw):
    zwsy=['零', '一', '两', '三', '四', '五', '六', '七', '八', '九', '十', '十一', '十二', '十三', '十四','十五', '十六', '十七', '十八', '十九', '二十','二十一','二十二','二十三','二十四','二十五','二十六','二十七','二十八','二十九','三十','三十一','三十二','三十三','三十四','三十五','三十六','三十七','三十八','三十九','四十']
    return zwsy.index(zw)
  
  
  # 解析页面,获取数据
  def get_data(html):
    list_data=[]
    selector=etree.HTML(html)
  
    # 标题
    try:
        title=selector.xpath('/html/body/div[3]/div[1]/div[1]/div[1]/h1/text()')[0]
    except:
        title='null'
    list_data.append(title)
  
    # 副标题
    try:
        subtitle=selector.xpath('/html/body/div[3]/div[1]/div[1]/div[1]/div/text()')[0]
    except:
        subtitle='null'
    list_data.append(subtitle)
  
    # 关注人数
    try:
    Followers=selector.xpath('/html/body/div[3]/div[1]/div[1]/div[2]/div[1]/div[1]/span/text()')[0]
    except:
        Followers='null'
    list_data.append(Followers)
  
    # 总价
    try:
        TotalPrice=selector.xpath('/html/body/div[5]/div[2]/div[3]/span[@class="total"]/text()')[0]
        TotalPrice=float(TotalPrice)*10000
    except:
        TotalPrice='null'
    list_data.append(TotalPrice)
  
    # 单价
    try:
        unitPrice=selector.xpath('/html/body/div[5]/div[2]/div[3]/div[1]/div[1]/span/text()')[0]
        unitPrice=float(unitPrice)
    except:
        unitPrice='null'
    list_data.append(unitPrice)
  
    # 建楼年份
    try:
        BuildYear=selector.xpath('/html/body/div[5]/div[2]/div[4]/div[3]/div[2]/text()')[0]
        BuildYear=re.findall(r'(.+?)年建',BuildYear)[0]
    except:
        BuildYear='null'
    list_data.append(BuildYear)
  
    # 小区名称
    try:
        XQname=selector.xpath('/html/body/div[5]/div[2]/div[5]/div[1]/a[1]/text()')[0]
    except:
        XQname='null'
    list_data.append(XQname)
  
    # 所在区域
    try:
        Zone=selector.xpath('/html/body/div[5]/div[2]/div[5]/div[2]/span[2]/a[2]/text()')[0]
    except:
        Zone='null'
    list_data.append(Zone)
    # 所在环
    try:
        Huan=selector.xpath('/html/body/div[5]/div[2]/div[5]/div[2]/span[2]/text()[2]')[0].strip()
    except:
        Huan='null'
    list_data.append(Huan)
  
    # 看房时间
    try:
        BookTime=selector.xpath('/html/body/div[5]/div[2]/div[5]/div[3]/span[2]/text()')[0]
    except:
        BookTime='null'
    list_data.append(BookTime)
  
    # 链家编号
    try:
        LjID=selector.xpath('/html/body/div[5]/div[2]/div[5]/div[4]/span[2]/text()')[0]
    except:
        LjID='null'
    list_data.append(LjID)
  
    # 链家中介
    try:
        LjAgent=selector.xpath('//*[@id="zuanzhan"]/div[2]/div/div[1]/a/text()')[0]
    except:
        LjAgent='null'
    list_data.append(LjAgent)
  
    # 链家中介评分
    try:
        LjAgentScore=selector.xpath('//*[@id="zuanzhan"]/div[2]/div/div[2]/span[1]/text()')[0]
        LjAgentScore=re.findall(r'评分:(.+?)',LjAgentScore)[0]
        LjAgentScore=float(LjAgentScore)
    except:
        LjAgentScore='null'
    list_data.append(LjAgentScore)
  
    # 链家中介评价次数
    try:
        LjAgentScoreTimes=selector.xpath('//*[@id="zuanzhan"]/div[2]/div/div[2]/span[2]/text()')[0]
        LjAgentScoreTimes=re.findall(r'/(.+?)次评价',LjAgentScoreTimes)[0]
        LjAgentScoreTimes=float(LjAgentScoreTimes)
    except:
        LjAgentScoreTimes='null'
    list_data.append(LjAgentScoreTimes)
  
    # 房屋户型
    try:
        HouseType=selector.xpath('//*[@id="introduction"]/div/div/div[1]/div[2]/ul/li[1]/text()')[0].strip()
    except:
        HouseType='null'
    list_data.append(HouseType)
  
    # 卧室数目:
    try:
        LivingPos=HouseType.index('室')
        Living=HouseType[LivingPos-1]
    except:
        Living='null'
    list_data.append(Living)
  
    # 客厅数目
    try:
        DrawingPos=HouseType.index('厅')
        Drawing=HouseType[DrawingPos-1]
    except:
        Drawing='null'
    list_data.append(Drawing)
  
    # 厨房数目
    try:
        KitchenPos=HouseType.index('厨')
        Kitchen=HouseType[KitchenPos-1]
    except:
        Kitchen='null'
    list_data.append(Kitchen)
  
    # 卫生间数目
    try:
        BathPos=HouseType.index('卫')
        Bath=HouseType[BathPos-1]
    except:
        Bath='null'
    list_data.append(Bath)
    
    # 所处楼层与总楼层
    try:
        Floor = selector.xpath('//*[@id="introduction"]/div/div/div[1]/div[2]/ul/li[2]/text()')[0]
        Floor = Floor.replace(' ', '').replace('楼层', '').replace('共', '').replace('层', '').replace('(', ' ').replace(')', '')
    except:
        Floor = 'null'
    list_data.append(Floor)
  
    # 建筑面积
    try:
        Area=selector.xpath('//*[@id="introduction"]/div/div/div[1]/div[2]/ul/li[3]/text()')[0].replace(' ', '').replace('㎡', '')
    except:
        Area='null'
    list_data.append(Area)
  
    # 户型结构
    try:
        Structure=selector.xpath('//*[@id="introduction"]/div/div/div[1]/div[2]/ul/li[4]/text()')[0].replace(' ', '').replace('㎡', '')
    except:
        Structure='null'
    list_data.append(Structure)
  
    # 套内面积
    try:
        InnerArea=selector.xpath('//*[@id="introduction"]/div/div/div[1]/div[2]/ul/li[5]/text()')[0].replace(' ', '').replace('㎡', '')
    except:
        InnerArea='null'
    list_data.append(InnerArea)
  
    # 建筑类型
    try:
        Type=selector.xpath('//*[@id="introduction"]/div/div/div[1]/div[2]/ul/li[6]/text()')[0].replace(' ', '')
    except:
        Type='null'
    list_data.append(Type)
  
    # 房屋朝向
    try:
        Orientation=selector.xpath('//*[@id="introduction"]/div/div/div[1]/div[2]/ul/li[7]/text()')[0].strip()
    except:
        Orientation='null'
    list_data.append(Orientation)
  
    # 建筑结构
    try:
        ArchStructure=selector.xpath('//*[@id="introduction"]/div/div/div[1]/div[2]/ul/li[8]/text()')[0]
    except:
        ArchStructure='null'
    list_data.append(ArchStructure)
  
    # 装修情况
    try:
        Decoration=selector.xpath('//*[@id="introduction"]/div/div/div[1]/div[2]/ul/li[9]/text()')[0].replace(' ', '')
    except:
        Decoration='null'
    list_data.append(Decoration)
  
    # 梯户比例
    try:
        LiftHu=selector.xpath('//*[@id="introduction"]/div/div/div[1]/div[2]/ul/li[10]/text()')[0].replace(' ', '')
    except:
        LiftHu='null'
    list_data.append(LiftHu)
    try:
        Ti=re.findall(r'(.+?)梯',LiftHu)[0]
        Ti=zw2alb(Ti)
        Hu=re.findall(r'梯(.+?)户',LiftHu)[0]
        Hu=zw2alb(Hu)
    except:
        pass
    list_data.append(Ti)
    list_data.append(Hu)
    try:
        LiftRatio=round(Ti/Hu,5)
    except:
        LiftRatio='null'
    list_data.append(LiftRatio)
  
  
    # 供暖方式
    try:
        Warmth=selector.xpath('//*[@id="introduction"]/div/div/div[1]/div[2]/ul/li[11]/text()')[0].replace(' ','')
    except:
        Warmth='null'
    list_data.append(Warmth)
  
    # 配备电梯
    try:
        Elevator=selector.xpath('//*[@id="introduction"]/div/div/div[1]/div[2]/ul/li[12]/text()')[0]
    except:
        Elevator='null'
    if Elevator=='有':
        Elevator=1
    elif LiftRatio!='null':
        Elevator=1
    else:
        Elevator=0
    list_data.append(Elevator)
  
    # 产权年限
    try:
        PropertyRight=selector.xpath('//*[@id="introduction"]/div/div/div[1]/div[2]/ul/li[13]/text()')[0]
    except:
        PropertyRight='null'
    list_data.append(PropertyRight)
  
    # 挂牌时间
    try:
        ListTime=selector.xpath('//*[@id="introduction"]/div/div/div[2]/div[2]/ul/li[1]/span[2]/text()')[0]
    except:
        ListTime='null'
    list_data.append(ListTime)
  
    # 交易权属
    try:
        DealProperty=selector.xpath('//*[@id="introduction"]/div/div/div[2]/div[2]/ul/li[2]/span[2]/text()')[0]
    except:
        DealProperty='null'
    list_data.append(DealProperty)
  
    # 上次交易
    try:
        LastDealTime=selector.xpath('//*[@id="introduction"]/div/div/div[2]/div[2]/ul/li[3]/span[2]/text()')[0]
    except:
        LastDealTime='null'
    list_data.append(LastDealTime)
  
    # 房屋用途
    try:
        HouseUse=selector.xpath('//*[@id="introduction"]/div/div/div[2]/div[2]/ul/li[4]/span[2]/text()')[0]
    except:
        HouseUse='null'
    list_data.append(HouseUse)
  
    # 房屋年限
    try:
        HouseUseYear=selector.xpath('//*[@id="introduction"]/div/div/div[2]/div[2]/ul/li[5]/span[2]/text()')[0]
    except:
        HouseUseYear='null'
    list_data.append(HouseUseYear)
  
    # 产权所有
    try:
        ProRightOwner=selector.xpath('//*[@id="introduction"]/div/div/div[2]/div[2]/ul/li[6]/span[2]/text()')[0]
    except:
        ProRightOwner='null'
    list_data.append(ProRightOwner)
  
    # 抵押信息
    try:
        Mortgage=selector.xpath('//*[@id="introduction"]/div/div/div[2]/div[2]/ul/li[7]/span[2]/text()')[0].strip()
    except:
        Mortgage='null'
    list_data.append(Mortgage)
  
    # 房本备件
    try:
        OwnerCerCopy=selector.xpath('//*[@id="introduction"]/div/div/div[2]/div[2]/ul/li[8]/span[2]/text()')[0].strip()
    except:
        OwnerCerCopy='null'
    list_data.append(OwnerCerCopy)
  
    # 近7天带看次数
    try:
        WatchWeekly=selector.xpath('//*[@id="record"]/div[2]/div[2]/text()')[0]
    except:
        WatchWeekly='null'
    list_data.append(WatchWeekly)
  
    # 30天带看次数
    try:
        WatchMonthly=selector.xpath('//*[@id="record"]/div[2]/div[3]/span/text()')[0]
    except:
        WatchMonthly='null'
    list_data.append(WatchMonthly)
  
    # 房源标签
    try:
        HTag=selector.xpath('/html/body/div[7]/div[1]/div[2]/div/div[1]/div[2]/a/text()')
        Housetag=[x.strip() for x in HTag if x.strip()!='']
    except:
        Housetag='null'
    list_data.append(Housetag)
  
    # 交通出行
    try:
        traffic=selector.xpath('/html/body/div[7]/div[1]/div[2]/div/div[2]/div[2]/text()')
        Traffictag=[x.strip() for x in traffic if x.strip()!='']
    except:
        Traffictag='null'
    list_data.append(Traffictag)
  
    # 周边配套
    try:
        Surrounding=selector.xpath('/html/body/div[7]/div[1]/div[2]/div/div[3]/div[2]/text()')
        Surroundtag=[x.strip() for x in Surrounding if x.strip()!='']
    except:
        Surroundtag='null'
    list_data.append(Surroundtag)
  
    # 户型介绍
    try:
        TypeIntro=selector.xpath('/html/body/div[7]/div[1]/div[2]/div/div[4]/div[2]/text()')
        TypeIntrotag=[x.strip() for x in TypeIntro if x.strip()!='']
    except:
        TypeIntrotag='null'
    list_data.append(TypeIntrotag)
  
    # 核心卖点
    try:
        CorePoint=selector.xpath('/html/body/div[7]/div[1]/div[2]/div/div[5]/div[2]/text()')
        CorePointtag=[x.strip() for x in CorePoint if x.strip()!='']
    except:
        CorePointtag='null'
    list_data.append(CorePointtag)
  
    return list_data
  
  # 把数据写入到excel
  def write_data(file_path,mode,row_data):
    with open(file_path,mode,newline='') as csv_file:
        csv_writer=csv.writer(csv_file)
        csv_writer.writerow(row_data)
  
  def main(index):
    list_district=['dongcheng','xicheng','chaoyang','haidian',
    'fengtai','shijingshan','tongzhou','changping','daxing',
    'yizhuangkaifaqu','shunyi','fangshan','mentougou',
    'pinggu','huairou','miyun','yanqing']
    list_district_ch=['东城','西城','朝阳','海淀',
    '丰台','石景山','通州','昌平','大兴',
    '亦庄开发区','顺义','房山','门头沟',
    '平谷','怀柔','密云','延庆']
    district=list_district[index]
    district_ch=list_district_ch[index]
    # 文件写入的路径
    file_write_path='C:/study/实战/python/data/zaishou/data/ershoufang_zs_info.csv'
    # 写excel标题
    row_title=['url','district','title','subtitle','Followers','TotalPrice','unitPrice',
    'BuildYear','XQname','Zone','Huan','BookTime','LjID','LjAgent',
    'LjAgentScore','LjAgentScoreTimes','HouseType','Living','Drawing',
    'Kitchen','Bath','Floor','Area','Structure','InnerArea','Type','Orientation',
    'ArchStructure','Decoration','LiftHu','Ti','Hu','LiftRatio','Warmth',
    'Elevator','PropertyRight','ListTime','DealProperty','LastDealTime',
    'HouseUse','HouseUseYear','ProRightOwner','Mortgage','OwnerCerCopy',
    'WatchWeekly','WatchMonthly','Housetag','Traffictag','Surroundtag','TypeIntrotag','CorePointtag']
    write_data(file_write_path,'w',row_title)
    # 文件读取路径
    file_read_path='C:/study/实战/python/data/zaishou/'+district+".txt"
    list_url=read_file(file_read_path)
    for url in list_url:
        url=url.replace('\n','')
        print(url)
        try:
            html=get_page(url)
            row_data=get_data(html)
            # #获取成交日期
            # deal_date=row_data[0]
            # # 获取年份
            # deal_year=int(deal_date[:4])
            # # 筛选2018年的数据
            # if deal_year>2018:
            #   continue
            # if deal_year<2018:
            #   break
            row_data.insert(0,district_ch)
            row_data.insert(0,url)
            print(row_data)
            # 写数据
            write_data(file_write_path,'a',row_data)
        except:
            pass
  
  if __name__=='__main__':
    # 根据需求调节线程数
    for index in range(0,17):
        thread=threading.Thread(target=main,args=(index,))
        thread.start()
  

4.结果

数据.png