4种Python爬虫（2. H5网页，如，乐刻）

2020-04-26 本文已影响0人王磊皮皮

上一篇中介绍了最简单的“PC版网页”爬取，但越来越多的网页采取了反爬虫机制，比如，使用js动态加载页面，让你无法通过一个request请求抓回所有html，这种情况可以试试selenium库，直接启动一个浏览器来爬取最终的渲染结果。

目录:
1. PC网页爬虫
 2. H5网页爬虫
 3. 微信小程序爬虫
 4. 手机APP爬虫

二、手机H5网页

1. 目标场景

乐刻健身的课表未通过PC版网站发布，还好可以在微信公众号中点击“预约课程”。尝试“在浏览器中打开”，直接访问这个H5网页，确认可以脱离微信、无需用户登录。
https://h5.leoao.com/mStation/tc?index=1

微信公众号 - 乐刻运行 - 预约课程

2. 场景分析

本来第一反应也是用第一种方式使用requests库请求以上URL的HTML。但得到的源代码只有一堆JS。

<!doctype html>
<html>
  <head>...</head>
  <body>
    <div id="app"></div>
    <script src="https://cdn.leoao.com/tingyun-rum-m.js"></script>
    <script type="text/javascript" src="/mStation/assets/js/runtime.f964ca54df6dba7c5de9.js"></script>
    <script type="text/javascript" src="/mStation/assets/js/10.3c3b6ca27760f767663e.js"></script>
    <script type="text/javascript" src="/mStation/assets/js/9.e9e448e75a8116a47cbf.js"></script>
    <script type="text/javascript" src="/mStation/assets/js/7.8da4a4fa43f8a0274648.js"></script>
  </body>
  <link rel="stylesheet" href="//at.alicdn.com/t/font_768861_cinhqq9fm04.css" async>
</html>

这种情况下，最方便的方法是使用Selenium的Webdriver。这个库可以直接启动一个浏览器进程，并模拟用户的键盘、鼠标、触摸等行为。

3. 方案思路

使用Selenium的webdriver启动浏览器，打开URL；
模拟依次点击今天、明天、后天等日期导航；
模拟向上滑动页面，加载更多课程；
获取浏览器最终的HTML；
最后，与方案一相同，用BeautifulSoap解析HTML、提取数据；

4. 关键代码

from selenium import webdriver
# 打开浏览器
browser = webdriver.Chrome()
url = 'https://h5.leoao.com/mStation/tc'
browser.get(url)

# 找到日期导航条
divWeek = browser.find_elements_by_xpath("//div[@class='bar-picker-header']/div/div/div/div")
# 依次点击最近一周的日期
for i in range(0,8) :
    divDay = divWeek[I]
    print('Lazy loading:' + str(i))
    divDay.click()    # 切换到指定日期
    time.sleep(0.5)
    # 使用JS脚本，推动页面向下滚动，并加载更多数据
    browser.execute_script('document.getElementsByClassName("class-list super-overflow-scroll swiper-slide swiper-slide-active")[0].scrollTop=5000')

# 解析html
html = browser.page_source
bsPage = BeautifulSoup(html, 'html.parser')
bsWeek = bsPage.select('div.class-view > div > div.swiper-wrapper > div')

# 解析HTML略，详见附源代码

5. 爬取结果

脚本执行录屏

爬取结果

这种模式对各类网页的适应性非常好，只要通过浏览器看到的内容都可以直接爬取到。
缺点就是效率很低，特别是在模拟的“点击”之后需要加入“time.sleep(n)”这样的等待语句，以便应对网络卡顿等不稳定因素。
那么，有没有更有效率的方案呢？请看下一章。

三、微信小程序

请点击：<下一页>