selenium:
2019-04-28 本文已影响0人
韩小禹
-
问题:爬取商品数据时,发现爬取的数据不完整,仔细对照后发现每一页的数据只抓取了一半,剩下的一半因为浏览器的滚动条没有滚动到最低端,导致数据不完整。
-
解决方法:
browser.execute_script('window.scrollBy(0,3000)')
time.sleep(1)
browser.execute_script('window.scrollBy(0,5000)')
time.sleep(1)
browser.execute_script('window.scrollBy(0,8000)')