4种Python爬虫（4. 手机APP，如，乐刻运动）

2020-04-26 本文已影响0人王磊皮皮

前面我们用乐刻的H5页面爬取了课表，但有些二级页面的数据是点不进去的，还是要通过APP进行爬取。但这真的是一个很大的挑战，我们先要做好心理准备。

目录:
1. PC网页爬虫
 2. H5网页爬虫
 3. 微信小程序爬虫
 4. 手机APP爬虫

四、手机APP爬虫

1. 目标场景

爬取乐刻运动手机APP的课表数据。Android和iOS都可以。

2. 场景分析

要制定具体方案，还是要从抓包分析开始。
如果你在前一章《三、微信小程序爬虫》中已经搭建好了Charles+iPhone的抓包环境，可以直接启动“乐刻APP”再来抓一波。

很快的找到了这个接口，我们兴奋的拿到浏览器里验证一下。
https://lens.leoao.com/lens/conduct/app/rpc/v2/com.lefit.dubbo.lclass.api.front.pull.SchedulePull/getClassChannelPageScheduleList

残酷的现实告诉我们这个接口需要认证签名的，仔细看看下图抓取的包头中的“lk-sign”就是接口调用时必须带上的签名，高手应该是可以通过反编译的方式找到这个签名的计算方法，而我只能找其他方案。

最终，我找到了appium+mitmproxy方案，直接控制手机模拟操作，实时拦截传输的数据包。这样我们不用再费劲心机去找签名算法去请求接口，直接让手机APP去请求接口，服务端根本不知道我们是爬虫机器人。但这个方案比较复杂，恳请再次做好心理准备。

3. 方案思路

总体流程：通过Appium驱动乐刻APP，mitmproxy做为中间人拦截与服务端通讯的数据包；（你可以先跳过后续的准备工作和代码，直接拖到最后那个爬取结果的动图，用这个架构图比对着最终效果，更容易理解。）

架构草图，好像有点太潦草

编写Appium的控制脚本，推动乐刻APP点击进入我们要爬取的各个界面；
编写mitmproxy的addon扩展脚本，重载其response方法，针对来自乐刻接口地址的数据包进行拦截、解析、导出；
环境搭建，这是比较费劲的一个环节。

连接手机：
1. iPhone放弃：Appium只能调用开发者账号打包的iOS APP，APP Store下载的第三方APP无法直接驱动；
2. Android 7.0以上的手机放弃：mitmproxy无法抓取Android7.0及以上系统的https包，因为系统默认的安全策略已经加固，不支持用户自定义的SSL证书。
3. 最终我找了一台老掉牙的红米2A（Android 4.4.4），同时满足Appium和mitmproxy两者的要求。（验证adb devices -l，确认android手机已经正常连接，否则需要在手机上打开开发者模式、安装Android SDK等，不在此展开说明了，百度吧。）
安装Appium，网上文档很多，略；
安装mitmproxy，网上文档很多，略；

4. 关键代码

LefitAppium.py

from appium import webdriver
#  启动Appium Client
print('启动手机客户端调用...')
desired_caps = {}
desired_caps['platformName'] = 'Android'
desired_caps['deviceName'] = '2014812'  # 三星S8：SM_G9550，红米：2014812
desired_caps['appPackage'] = 'com.leoao.fitness'
desired_caps['appActivity'] = '.main.MainActivity'
desired_caps['automationName'] = 'UiAutomator1'  # 红米手机的android 4.4.4版本过低，不能使用默认的UiAutomator2，只能使用UiAutomator1
desired_caps['noReset'] = 'true'
desired_caps['fullReset'] = 'false'
driver = webdriver.Remote('http://localhost:4723/wd/hub', desired_caps)
driver.implicitly_wait(3)  # 全局的隐式等待，最长5秒

print('等待主界面加载...')
driver.wait_activity('.main.MainActivity', 30)

# 点击团体课
print('点击团操课...')
driver.find_element_by_id('com.leoao.fitness:id/sdv_home_product').click()
driver.wait_activity('.main.course3.group.page.GroupExerciseActivity', 30)

# 依次点击每天切换
print('定位日期导航条...')
elCalenders = driver.find_elements_by_xpath('//android.support.v7.app.ActionBar.c')
time.sleep(2)  # 经常在这里异常退出，所以强制添加等待
DayCounter = 0
while DayCounter < len(elCalenders):
    elCalenders[DayCounter].click()
    DayCounter += 1
    # 向下翻页    
    l = driver.get_window_size()
    x = l['width'] * 0.5
    y1 = l['height'] * 0.75
    y2 = l['height'] * 0.25
    driver.swipe(x, y1, x, y2, 500)

LefitMitmAddon.py

import mitmproxy.http
from mitmproxy import ctx
import json

class lkClassSpider:
    def response(self, flow: mitmproxy.http.flow):
        # 拦截乐刻课表接口，地址为https://lens.leoao.com/....../getClassChannelPageScheduleList
        if "getClassChannelPageScheduleList" in flow.request.url:
            classData = json.loads(flow.response.text)["data"]
            ClassTable = []
            for store in classData:
                storeName = store['storeName']
                for classItem in store['list']:
                    classInfo = {}
                    classInfo['store'] = storeName
                    classInfo['date'] = classItem['idxDateString']
                    classInfo['time'] = classItem['timeDesc']
                    classInfo['type'] = classItem['className']
                    classInfo['coach'] = classItem['coachName']
                    ClassTable.append(classInfo)

        #保存数据到excel，略，详见源代码。

addons = [
    lkClassSpider()
]

5. 爬取结果

连接android手机，确认连接成功；

adb devices -l

启动mitmproxy，挂载拦截脚本，确认能够正常抓包（下图中的黄框）；

mitmdump -s LefitMitmAddon.py

在应用程序中启动Appium（下图中的蓝框）；
启动爬虫脚本（下图中的红框）；

python3 LefitAppium.py

接下来就是见证奇迹的时刻了！
可以看到左侧的手机已经自动跑起来了！
所有流过的数据都尽在掌握！

这个方案的适应能力非常强，不怕各种反爬虫机制。
但是如果要去爬取淘宝、携程等海量数据时，肯定也是力不从心。

后记：
爬虫与反爬虫的斗争其实虚耗了无数人的青春，本文的目的仅仅是针对近两周来学习的小结，对此领域的学习就到此为止。