python 抓取动态网页数据
2018-01-13 本文已影响62人
进击的小杰
这是python的第一篇文章,我自己是做ios的,但有空的时候比较喜欢钻一些比较好玩的东西,感觉python比较秀,就尝试了一下,完全0挤出入门,只知道一些代码的套路和语言的逻辑。
使用 selenium + chrome来完成目标:
我用的python是pyCharm,我觉得是很好用的 selenium这些包我直接用pyCharm装的,因为我本身系统内装有很多个python版本。
下载chromedriver安装包:chromedriver是帮我们启动浏览器的,我电脑里面装有谷歌浏览器,其实最好的应该是火狐。(https://sites.google.com/a/chromium.org/chromedriver/downloads)
from selenium import webdriver
url = "https://m.kaola.com/activity/goods/1167518.html?shareOs=iOS&datid=__da_230bb323_5691a863f1c33c80&shareTo=wx"
driver = webdriver.Chrome()
driver.get(url)
print (driver.page_source)
from selenium import webdriver
url = "https://m.kaola.com/activity/goods/1167518.html?shareOs=iOS&datid=__da_230bb323_5691a863f1c33c80&shareTo=wx"
driver = webdriver.PhantomJS()
driver.get(url)
print (driver.page_source)