利用selenium与多线程爬取爬淘宝文胸首页动态数据

本文爬取了在淘宝首页上输入文胸后弹出的数据,因为淘宝的商品都是通过JS渲染出来的动态数据,所以本文用到了selenium,但是用的过程中发现了selenium的局限性,会在下文中提到,当然也可能是本人学艺不精,对selenium这个神器了解不足,先说下思路,首先是进入文胸搜索的首页,然后爬取所有商品链接,最后用多进程提取每个商品的信息,再写进文件

首先导入用到的库,本人是想到用哪个再导入哪个的

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.action_chains import ActionChains
import  time
import  re
from  bs4 import BeautifulSoup
import requests
import lxml
from lxml import html
import csv
header={
'User-agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.106 Safari/537.36'
}这里是伪装成chrome浏览器
from multiprocessing.dummy import Pool
all_links=[]

all_products =[]

Paste_Image.png

def get_all_links(url):这个函数是提取淘宝首页每个商品的链接的
    all_links = []
    driver = webdriver.Chrome()让浏览器模拟人工操作,提取动态数据
    driver.get(url)
    driver.execute_script('window.scrollBy(0,3000)')
    time.sleep(2)
    driver.execute_script('window.scrollBy(0,5000)')让屏幕滚动下面,确保找到所有商品数据
    time.sleep(2)
    data = driver.find_element_by_class_name('m-itemlist')如图,这里匹配到了所以商品所在的div
    time.sleep(2)
    we_data = driver.page_source
    #print(we_data)
    soup = BeautifulSoup(we_data,'lxml')将获得的页面用Beautiful解释,不过selenium也有字体的方法提取,
    不过本人习惯用find函数提取数据,于是就没有采取selenium的提取方法
    links =soup.find('div',{'class':'m-itemlist'}).findAll('a',href=re.compile('^(//detail)).*(0)$'))
    这里用了findAll函数搭配正则,因为链接太复杂,用了xpath实在写不出
    看了看,商品链接都是//detail开头的,这样就抓出了第一页所有包含链接的a标签
    如图,定位到所有商品的div里面,然后用正则匹配每个链接

Paste_Image.png

    #print(links)
    for link in links:
        if 'href' in link.attrs:
            #print(link.attrs['href'])
            all_links.append(link.attrs['href'])千万记得,我们还要将链接提取出来

    print(len(all_links),all_links)
    return all_links返回所以链接

def get_data(url):
    each_products={}构造一个空字典.因为每个商品都是由产地,标题,价格等组成,所以用字典保存商品信息是最理想的
    link = 'http:'+url抓取出来的链接前面是没有http:字符的,所以在手动添加,这样才能打开链接
    #print(link)

    each_products['link']=link为字典添加数据,下面同理
    all_data = requests.get(link,headers=header).content
    time.sleep(2)
    
    selector = lxml.html.document_fromstring(all_data)用lxml库
    #print(selector)
    title = selector.xpath('//div[@class="tb-detail-hd"]/h1/text()')[0].replace('\t','').replace('\r','').replace('\n','')
     清理数据,
     标题很多换行空格符号,如图

    #print(title)
    each_products['title']=title为字典添加数据


    price = selector.xpath('//div[@class="tm-promo-price"]/span/text()')
   <>首先这里说明一下,这里调节了一个小时左右,
    反复确认这个xpath没有错,最后都没有提取出价格,最后心灰意冷,看了看源代码,发现每个页面的价格也是JS动态数据加载进去的.....
    心中一万只草拟马奔腾而过,只能感叹现在的实力抓不了,因为如果再在这里用selenium的我电脑会死的,因 为一页就有50左右的链接,我电脑扛不住的,
    所以感觉面对这种类型的网页selenium就很有局限性,也希望有大神教我解决怎么抓取加个这个问题,这个坑只能以后来填了
    #print(price)
    each_products['price']=price
    shop_name= selector.xpath('//div[@class="slogo"]/a/strong/text()')[0]
    #print(shop_name)
    each_products['shop_name']=shop_name
    area = selector.xpath('//li[@class="locus"]/div[@class="right"]/text()')[0].replace('\n','').replace('                ','')
    #print(area)
    each_products['area']=area
    all_products.append(each_products)这样就构造了一个由字典组成的列表,也方便写进csv格式的文件
打印出来的字典是这样的

Paste_Image.png

def writedata(all_products):
    with open('taobao_bra','w',encoding="UTF-8",newline='')as f:
        writer = csv.DictWriter(f,fieldnames=['title','area','shop_name','price','link'])因为是字典组成的列表,且key值一样,
        所以可以用DictWriter方法将文件按一定的key值排序写进文件
        writer.writeheader()
        for i in all_products:
            #print(i)
            writer.writerow(i)
if __name__ == '__main__':

    url = 'https://s.taobao.com/search?q=%E6%96%87%E8%83%B8'淘宝搜索文胸的首页
    #print(url)
    time.sleep(1)
    links=set(get_all_links(url))获得所有连接
    pool=Pool()
    pool.map(get_data,links)这里是提取数据,这里函数记得不用写括号
    print(all_products)
    writedata(all_products)写进文件

最后效果图,每个商品的链接是还可以用split简化的,也挺简单,这里就不提,希望有大神告诉我怎么提取价格....

Paste_Image.png