python3爬取苏宁手机数据

最近有个需求爬取电商网站的商品详细信息，记录下爬取过程。

完整源代码：https://github.com/ttcool/league_matches/suning_scrpy.py

爬取思路：目前各个大型的电商网站都有反爬取的策略，结合大数据很容易识别大规模的数据爬取。而且也不会提供结构化的数据供爬取。决定采用selenium模拟浏览器操作，再对页面数据进行解析、存储。

各个电商网站都有完善搜索功能，通过搜索功能输入关键字最多展示50页左右的数据。每页100条数据，一个关键字就可以爬取5000条左右的数据，数据量还是很可观的。

以爬取苏宁手机数据为例，可以通过手机关键字展示50页数据，提取商品详细页面的url,再进入每个url页面，提取详细的数据，如手机的参数、价格、图片等信息。

```

from seleniumimport webdriver

from selenium.webdriver.common.keysimport Keys

from bs4import BeautifulSoup

import pandasas pd

from lxmlimport etree

import time, requests

import csv

headers = {'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'}

def link_to_url(link):

try:

r = requests.get(link, headers=headers)

r.raise_for_status

r.encoding ='utf-8'

        return r.text

except:

print('此页无法链接！！！')

return ''

#解析提取商品详细信息

def get_good_name_from_text(context):

try:

soup = BeautifulSoup(context, 'lxml', from_encoding="utf-8")

#商品名称

        good_name = soup.select(".breadcrumb-title")[0].attrs['title']

#商品颜色

        good_color = soup.find_all("li", class_="clr-item")

#商品详细参数

        good_param = []

res_elements = etree.HTML(context)

# 指定属性的获取方式

        table = res_elements.xpath('//table[@id="bzqd_tag"]')

table = etree.tostring(table[0], encoding='utf-8').decode()

# pandas读取table

        df = pd.read_html(table, encoding='utf-8', header=0)[0]

# 转换成列表嵌套字典的格式

        results =list(df.T.to_dict().values())

# 最后能够看到一个包含很多字典的list

        # print('包装清单',results[0].get('包装清单.1'))

        good_param.append(('包装清单', results[0].get('包装清单.1')))

res_elements = etree.HTML(context)

table1 = res_elements.xpath('//table[@id="itemParameter"]')

table1 = etree.tostring(table1[0], encoding='utf-8').decode()

# pandas读取table

        df1 = pd.read_html(table1, encoding='utf-8', header=0)[0]

# 转换成列表嵌套字典的格式

        results1 =list(df1.T.to_dict().values())

# 最后能够看到一个包含很多字典的list

        for iin results1:

# print(i.get('主体'),i.get('主体.1'))

            good_param.append((i.get('主体'), i.get('主体.1')))

color_list = []

for iin good_color:

color_list.append(i.attrs["title"])

return good_name, ','.join(color_list), good_param

except:

print('无法解析数据')

return ''

def get_good(driver):

try:

# 通过JS控制滚轮滑动获取所有商品信息

        js_code ='''

window.scrollTo(0,4000);

'''

        driver.execute_script(js_code)# 执行js代码

        # 等待数据加载

        time.sleep(10)

# 3、查找所有商品div

        good_list = driver.find_elements_by_class_name('product-box')

n =1

        for goodin good_list:

# 根据属性选择器查找

            # 商品链接

            good_url = good.find_element_by_css_selector(

'.res-info .title-selling-point a').get_attribute('href')

# 商品名称

            good_price = good.find_element_by_css_selector(

'.res-info .price-box .def-price').text

context = link_to_url(good_url)

good_content = []

if get_good_name_from_text(context):

good_name, good_color, good_param = get_good_name_from_text(context)

good_content = [

good_name,

                    good_price,

                    good_url,

                    good_color,

                    good_param

]

if good_content:

import json

with open('suning_mobile_iphone.csv', 'a', newline="", encoding='utf-8')as f:

csv_writer = csv.writer(f, delimiter='|')

csv_writer.writerow(good_content)

next_tag = driver.find_element_by_id('nextPage')

next_tag.click()

time.sleep(10)

# 递归调用函数

        get_good(driver)

time.sleep(10)

finally:

driver.close()

if __name__ =='__main__':

# good_name = input('请输入爬取商品信息:').strip()

    good_name ="iphone手机"

    driver = webdriver.Chrome()

driver.implicitly_wait(50)

# 1、往苏宁主页发送请求

    driver.get('https://www.suning.com/')

# 2、输入商品名称，并回车搜索

    input_tag = driver.find_element_by_id('searchKeywords')

input_tag.send_keys(good_name)

input_tag.send_keys(Keys.ENTER)

time.sleep(2)

get_good(driver)

```