python实战作业1-3

感觉比上一章的作业简单，十几分钟搞定了。

from bs4 import BeautifulSoup
import requests


def get_information(url):#这个函数完成了爬取其中一个页面商品信息的任务
    # url = 'http://bj.xiaozhu.com/fangzi/1508951935.html'
    wb_data = requests.get(url)
    soup = BeautifulSoup(wb_data.text,'lxml')


    title = soup.select('div.pho_info > h4')[0].text
    address = soup.select('div.pho_info > p')[0].get('title')#[0]代表取数组的第1个元素，因为soup.select返回的是一个数组，然后获取title属性
    price = soup.select('div.day_l > span')[0].text
    pic = soup.select('#curBigImage')[0].get('src')
    fangdong_name = soup.select('#floatRightBox > div.js_box.clearfix > div.w_240 > h6 > a.lorder_name')[0].text
    fangdong_gender = soup.select('#floatRightBox > div.js_box.clearfix > div.member_pic > div')[0].get('class')[0]

    gender="男"
    if fangdong_gender=='member_ico':
        gender="男"
    elif fangdong_gender=='member_icol':
        gender="女"


    data={
        '标题':title,
        '地址':address,
        '价格':price,
        '图片地址':pic,
        '房东名字':fangdong_name,
        '房东性别':gender
    }

    return data


for i in range(1,13):
    oriurl="http://bj.xiaozhu.com/search-duanzufang-p"+str(i)+"-0/"
    # oriurl="http://bj.xiaozhu.com/"
    wb_data_ori = requests.get(oriurl)
    soup_ori = BeautifulSoup(wb_data_ori.text,'lxml')
    links=soup_ori.select('#page_list > ul > li > a')

    for link in links :
        link=link.get('href')
        print(get_information(link))

输出结果

C:\Users\XingLi\AppData\Local\Programs\Python\Python35-32\python.exe F:/code/python/scap-mooc-netease/1_3_xingli_homework.py
{'地址': '北京市朝阳区新都市计划大厦', '价格': '698', '图片地址': 'http://image.xiaozhustatic1.com/00,800,533/3,0,24,2692,1800,1200,4a3c697f.jpg', '标题': '\n到鸟巢去散步，安慧东里敞亮大三居\n', '房东性别': '男', '房东名字': 'ocheese'}
{'地址': '北京市朝阳区大屯路西段(15号线北沙滩站)', '价格': '428', '图片地址': 'http://image.xiaozhustatic1.com/00,800,533/1,0,89,4242,825,551,5d65b66f.jpg', '标题': '\nD15号 鸟巢 水立方 国家会议中心大两居\n', '房东性别': '男', '房东名字': '蓝加菲'}
{'地址': '北京市朝阳区呼家楼街道', '价格': '598', '图片地址': 'http://image.xiaozhustatic1.com/00,800,533/3,0,37,4642,1800,1200,7b756ae5.jpg', '标题': '\n东大桥地铁口，毗邻三里屯工体朝阳门世贸天阶\n', '房东性别': '男', '房东名字': 'himhimhuang'}
{'地址': '北京市朝阳区劲松10号线劲松地铁旁农光东里小区31号楼(天客隆商场南300米)', '价格': '328', '图片地址': 'http://image.xiaozhustatic1.com/00,800,533/3,0,36,5618,1800,1200,cf427c5a.jpg', '标题': '\n自己的家，温馨两居，给您家的感觉\n', '房东性别': '男', '房东名字': '水泡泡'}
{'地址': '北京市海淀区地铁8号线西小口D口文龙家园二里(地铁8号线西小口D口出来即是，小营桥东700米)', '价格': '149', '图片地址': 'http://image.xiaozhustatic1.com/00,800,533/5,0,24,799,1800,1200,295e36e4.jpg', '标题': '\n【主卧特价】8号线地铁口，直达鸟巢南锣鼓巷\n', '房东性别': '男', '房东名字': '花花he浩子的家'}
{'地址': '北京市朝阳区红军营南路', '价格': '128', '图片地址': 'http://image.xiaozhustatic1.com/00,800,533/1,0,42,4845,825,550,57c0343f.jpg', '标题': '\n北五环5.13号地铁高档的温馨公寓\n', '房东性别': '男', '房东名字': '幸福姐姐'}

内容太多了我就不写了