Python使用selenium抓取淘宝美食信息

2017-12-02  本文已影响0人  TOTower

淘宝页面比较复杂,含有各种请求参数和加密参数,如果直接请求或者分析Ajax将会非常繁琐。Selenium是一个自动化测试工具,可以驱动浏览器去完成各种工作,比如模拟点击、输入和下拉等多种功能,这样我们只需关心操作,不需要关心后台发生了怎么样的请求。


from selenium import webdriver

#创建WebDriver对象

browser = webdriver.Chrome()

#等待变量

wait = WebDriverWait(browser,10)

打开淘宝页面,在输出框中输出美食,获取跳转到的新页面

每翻一页,抓取一次信息

分析HTML源码,获取商品的属性并输出

上一篇下一篇

猜你喜欢

热点阅读