Python数据采集与爬虫数据分析爬虫搜集

爬取淘宝美食页面

2017-03-17  本文已影响313人  小白猿

思路

工具安装

利用 selenium模拟淘宝操作

使用selenium的大致思路根据CSS选择器或者id之类的定位到具体的控件，然后给控件实现赋值或者点击等操作。

selenium的简单配置

from selenium import webdriver
from selenium.common.exceptions import TimeoutException
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
选择元素css 
# 加载驱动
browser = webdriver.Chrome()

此时代码运行可以呼起一个空置的谷歌浏览器

wait = WebDriverWait(browser, 10)

wait.until(
            EC.presence_of_element_located((By.CSS_SELECTOR, "#q"))
        )

title_is
title_contains
presence_of_element_located
visibility_of_element_located
visibility_of
presence_of_all_elements_located
text_to_be_present_in_element
text_to_be_present_in_element_value
frame_to_be_available_and_switch_to_it
invisibility_of_element_located
element_to_be_clickable
staleness_of
element_to_be_selected
element_located_to_be_selected
element_selection_state_to_be
element_located_selection_state_to_be
alert_is_present

    ID = "id"
    XPATH = "xpath"
    LINK_TEXT = "link text"
    PARTIAL_LINK_TEXT = "partial link text"
    NAME = "name"
    TAG_NAME = "tag name"
    CLASS_NAME = "class name"
    CSS_SELECTOR = "css selector"

模拟关键字填写及搜索

browser.get("https://s.taobao.com")
    # selenium处理页面等待的方法
    # 设置一下需要监听的元素，可以通过id或者能唯一确定元素的属性
    # EC是选择条件点后边的是条件，我把条件记录在简书里
    # 我们通过页面元素，查找到输入框，我们利用css样式去确定，并利用css选择器去获取
        input = wait.until(
            EC.presence_of_element_located((By.CSS_SELECTOR, "#q"))
        )

        # 然后监听按钮，条件是以可以点击判断其加载完成
        submit = wait.until(
            EC.element_to_be_clickable((By.CSS_SELECTOR, "#J_SearchForm > div > div.search-button > button"))
        )

        # 调用selenium的API来给搜索框输入内容，然后按钮追加点击方法
        # send_keys添加参数
        input.send_keys(KEYWORD)
        # 添加点击方法
        submit.click()

获取宝贝页面的宝贝总页数

 total = wait.until(
       EC.presence_of_element_located((By.CSS_SELECTOR, "#mainsrp-pager > div > div > div > div.total"))
  )
return total.text

实现翻页

翻页功能有种实现方式

def get_next_page(page_number):
    print(u"正在翻页")
    try:
    # 拿到输入框 和确定 按钮，然后输入页码
        input = wait.until(
            EC.presence_of_element_located((By.CSS_SELECTOR,"#mainsrp-pager > div > div > div > div.form > input"))
        )

        submit = wait.until(
            EC.element_to_be_clickable((By.CSS_SELECTOR, "#mainsrp-pager > div > div > div > div.form > span.btn.J_Submit"))
        )
        input.clear()
        input.send_keys(page_number)
        submit.click()

        # 翻页后确定当前面是否加载完，主要看页码当时是否为高亮状态
        text = wait.until(
            EC.text_to_be_present_in_element((By.CSS_SELECTOR,"#mainsrp-pager > div > div > div > ul > li.item.active > span"), str(page_number))
        )
        get_product()
    except TimeoutException:
        print("get_next_page超时")
        get_next_page(page_number)

PyQuery实现页面解析

对于PyQuery(以下简称pq)的用法目前完全懵逼，完全是跟着视频敲的，只知道类似于jQuery，根据id或者css样式去获取查找元素，页面结果见下图，通过id为mainsrp-itemlist的，然后css样式为items获取商品列表，最后通过css样式为items,然后每个商品的信息

网页结构图 
'''
3.解析页面，获取美食信息
'''
def get_product():
    print("正在获取产品")
    # 页面记载结束：主要是看商品信息的大节点是不是加载完了
    wait.until(
        EC.presence_of_element_located((By.CSS_SELECTOR, "#mainsrp-itemlist .items .item"))
    )
    # 获取页面内容
    html = browser.page_source
    # 通过PyQuery解析页面
    doc = pq(html)
    # 根据节点获取美食的集合
    items = doc("#mainsrp-itemlist .items .item").items()
    # 遍历 获取各值
    for item in items:
        product = {
            # 获取img标签下的src属性
            "image": item.find(".pic .img").attr("src"),
            "price": item.find(".price").text(),
            "deal": item.find(".deal-cnt").text()[:-3],
            "title": item.find(".title").text(),
            "shop": item.find(".shop").text(),
            "location": item.find(".location").text()
        }

存储到mongoDB

与第一篇爬取头条数据一样，需要单独创建配置文件，然后创建俩呢及，创建数据库，存储数据，有一点着重提示的是，在代码运行存储数据的时候，一定要记得开启mongoDB的服务，不然会报一些莫名其妙的错误

MONGO_URL = "localhost"
MONGO_DB = "Taobao"
MONGO_TAB = "TbCate"

# 创建数据库链接
client = MongoClient(MONGO_URL)
# 创建数据库
db = client[MONGO_DB]

'''
4.存储数据
'''
def save_to_mongo(result):
    try:
        if db[MONGO_TAB].insert(result):
            print("正在存储到mongDB")
    except Exception:
        print("存储失败",result)

代码整体串接

def main():
    try:
        # 获取总页数
        totoal = search()
        # 获取数字，过滤汉字
        pattern = re.compile(r"(\d+)")
        match = re.search(pattern, totoal)
        # 遍历获取所有的页面
        for i in range(2,int(match.group(1)) + 1):
            get_next_page(i)
        # 数据获取结束以后关闭浏览器
    except Exception:
        print("出错了")
   # 用完后，必须关闭浏览器
    finally:
        browser.close()

引入phantomJS

我感觉如果遇到一个具体类似淘宝宝贝数据爬取的需求的话，可能的大致思路是先通过浏览器去模拟数据，成功以后，引入phantomJS去静默爬取数据

# 将Google浏览器换成PhantomJS
browser = webdriver.PhantomJS()
# 修改弹框大小
browser.set_window_size(1400,800)

# phantomJS的高级用配置：不加载图片，加缓存
SEARVICE_ARGS = ["--load-images=false","--disk-cache=true"]

browser = webdriver.PhantomJS(service_args=SEARVICE_ARGS)

一些注意点

上一篇下一篇

猜你喜欢

热点阅读