Python使用selenium抓取淘宝美食信息
2017-12-02 本文已影响0人
TOTower
淘宝页面比较复杂,含有各种请求参数和加密参数,如果直接请求或者分析Ajax将会非常繁琐。Selenium是一个自动化测试工具,可以驱动浏览器去完成各种工作,比如模拟点击、输入和下拉等多种功能,这样我们只需关心操作,不需要关心后台发生了怎么样的请求。
from selenium import webdriver
#创建WebDriver对象
browser = webdriver.Chrome()
#等待变量
wait = WebDriverWait(browser,10)
打开淘宝页面,在输出框中输出美食,获取跳转到的新页面
每翻一页,抓取一次信息
分析HTML源码,获取商品的属性并输出