IOS 自动化探索——使用蓝牙实现 XCUITest 的 Tap

2022-03-11 本文已影响0人 TesterHome

原文由自然生长发表于TesterHome社区，点击原文链接可与作者直接交流。

一、前言

远程使用 WeTest 和 Testin 的 ios 设备时，总会觉得操作不流畅，因为它在松开鼠标时，手机才会动。应该是由于 WDA 中是使用 XCUITest 来实现 Tap 操作，而它的一次操作需要完整的动作链，不能像 Android 中一样分解为 Down、Move、Up 操作。

最近发现了一款名叫虫洞的软件，地址：https://er.run/ ，它可以实现流畅的远程操作。进过研究，发现其原理是通过蓝牙向手机发送蓝牙鼠标操作信号，从而实现一个指针设备来操控设备。

目前只实现了一个 DEMO，在实用性方面还有待提高。

二、基础知识

1、蓝牙 HID 设备

The Human Interface Device (HID) 定义了蓝牙在人机接口设备中的协议、特征和使用规程。典型的应用包括蓝牙鼠标、蓝牙键盘、蓝牙游戏手柄等。该协议改编自 USB HID Protocol。

HID 建立 Control Channel 和 Interrupt Channel 两个通道，Control Channel 通道主要用于传输控制封包，在这个通道传输的封包称为同步封包（synchronous reports），Interrupt Channel 通道传输的封包不需要确认，所以称为异步封包（asynchronous reports）。

不同的设备发送的包是不同的，下文会列举键盘的包和鼠标的包。

2、蓝牙 SDP 协议

SDP 协议让客户机的应用程序发现存在的服务器应用程序提供的服务以及这些服务的属性。SDP 只提供发现服务的机制，不提供使用这些服务的方法。每个蓝牙设备都需要一个 SDP Service，只做 Client 的蓝牙设备除外。

3、蓝牙鼠标信号

和使用 XCUITest 最大的不同是蓝牙鼠标移动的 xy 位置不是屏幕的位置，而是鼠标当前点的相对位置，这点对于实现 Tap 操作是不利的，因为需要将相对位置转换成在屏幕中的绝对位置。

4、IOS 中的辅助控制

与蓝牙键盘不同，支持蓝牙鼠标功能是需要主动开启的，位置在设置>辅助功能>触控>辅助功能，当蓝牙鼠标信号成功发送后，在手机上会出现一个小圆点，在设置>辅助功能>触控>辅助功能>设备中也会出现该蓝牙设备。

三、具体实现

1、基础源码

地址：https://github.com/bonyadmitr/XcodeProjects/tree/de6f1b11b2c847b30b900c8a2539e0a30a06c7ba/_mac/Bluetooth-Keyboard-Emulator

这个项目支持 Swift5，但只实现了模拟蓝牙键盘的功能，只要跑起来后，将手机通过蓝牙连接到你的 Mac，然后就能读取你 Mac 的键盘输入转到手机中。PS：Monterey 的蓝牙连接似乎有些问题，ios 设备根本连不上蓝牙。

2、修改 SDP，加入鼠标 Report 结构

在项目中有个 HIDReportDescriptor.txt 的文件，可以看到其中有键盘的 Report 结构，这是需要加在 sdp 协议中的，但它并不是 sdp 协议文件，真正的 sdp 文件是 SerialPortDictionary.plist。

0206 - HIDDescriptorList > item 0 > item 1 > DataElementValue 中是 HIDReportDescriptor.txt 的 Hex 格式，将鼠标的 Report 结构加入其中即可。

3、定义鼠标 Report

我们先看下它已经定义好的键盘 report，需要结合 HIDReportDescriptor.txt 来看。

let bytes: [UInt8] = [
    0xA1,      // 0 DATA | INPUT (HIDP Bluetooth)

    0x01,      // 1 Report ID
    modifier,  // 2 Modifier Keys
    0x00,      // 3 Reserved
    keyCode,   // 4 Keys ( 6 keys can be held at the same time )
    0x00,      // 5
    0x00,      // 6
    0x00,      // 7
    0x00,      // 8
    0x00,      // 9
    0x00       // 10 Reserved
]

其中第一个字节 A1 代表它是 HID 设备，第二个字节 Report ID 01 代表是键盘，可以对应0x85, 0x01, // Report ID (1)

接下来 modifier 代表的是功能键，可以表示同时按下多个功能键，例如 0b1 代表按下 control 健，0b10 代表按下 shift 键，0b11 代表同时按下了 control 和 shift 键。

下面第 3 个字节虽然注释上标记了保留字段，但其实它是有意义的，但只在输出时有用，它表示了一些锁，比如大小写锁和小键盘锁。

0x05, 0x08,        //   Usage Page (LEDs)
0x19, 0x01,        //   Usage Minimum (Num Lock)
0x29, 0x05,        //   Usage Maximum (Kana)
0x95, 0x05,        //   Report Count (5)
0x75, 0x01,        //   Report Size (1)
0x91, 0x02,        //   Output (Data,Var,Abs,No Wrap,Linear,Preferred State,No Null Position,Non-volatile)
0x95, 0x01,        //   Report Count (1)
0x75, 0x03,        //   Report Size (3)
0x91, 0x01,        //   Output (Const,Array,Abs,No Wrap,Linear,Preferred State,No Null Position,Non-volatile)

第 4 到 9 字节代表了按键，可以同时按下 6 个键，这个项目中只支持 1 个。

0x05, 0x07,        //   Usage Page (Kbrd/Keypad)
0x19, 0x00,        //   Usage Minimum (0x00)
0x2A, 0xFF, 0x00,  //   Usage Maximum (0xFF)
0x95, 0x06,        //   Report Count (6)
0x75, 0x08,        //   Report Size (8)

第 10 个字节是保留字段。

0x05, 0xFF,        //   Usage Page (Reserved 0xFF)
0x09, 0x03,        //   Usage (0x03)
0x75, 0x08,        //   Report Size (8)
0x95, 0x01,        //   Report Count (1)

由此可以通过网上找到的鼠标的 Report 结构来写成项目中的包格式。

0x05, 0x01,        // Usage Page (Generic Desktop Ctrls)
0x09, 0x02,        // Usage (Mouse)
0xA1, 0x01,        // Collection (Application)
0x85, 0x02,        //   Report ID (2)
0x09, 0x01,        //   Usage (Pointer)
0xA1, 0x00,        //   Collection (Physical)

0x05, 0x09,        //     Usage Page (Button)
0x19, 0x01,        //     Usage Minimum (0x01)
0x29, 0x03,        //     Usage Maximum (0x03)
0x15, 0x00,        //     Logical Minimum (0)
0x25, 0x01,        //     Logical Maximum (1)
0x75, 0x01,        //     Report Size (1)
0x95, 0x03,        //     Report Count (3)
0x81, 0x02,        //     Input (Data,Var,Abs,No Wrap,Linear,Preferred State,No Null Position)
0x75, 0x05,        //     Report Size (5)
0x95, 0x01,        //     Report Count (1)
0x81, 0x01,        //     Input (Const,Array,Abs,No Wrap,Linear,Preferred State,No Null Position)

0x05, 0x01,        //     Usage Page (Generic Desktop Ctrls)
0x09, 0x30,        //     Usage (X)
0x09, 0x31,        //     Usage (Y)
0x09, 0x38,        //     Usage (Wheel)
0x15, 0x81,        //     Logical Minimum (-127)
0x25, 0x7F,        //     Logical Maximum (127)
0x75, 0x08,        //     Report Size (8)
0x95, 0x03,        //     Report Count (3)
0x81, 0x06,        //     Input (Data,Var,Rel,No Wrap,Linear,Preferred State,No Null Position)

0xC0,              //   End Collection
0xC0,              // End Collection

可以看出 Report ID 变成了了 2，接下来的 1 个字节（3+1*5 bit）代表了鼠标的按键，最后三个字节分别代表 X、Y 和 Wheel 移动的距离，同时也是带符号的。

所以，鼠标的格式可以定义为下：


        let bytes: [Int8] = [
//           0b10100001,      // 0 DATA | INPUT (HIDP Bluetooth)
            -0b01011111,
            0x02,    // 0 Report ID
            Action,  // 0 just move 1 left_button 2 middle_button 3 right_button
            Rel_X,   // x
            Rel_Y,   // y
            0x00     // scroll
        ]

为了方便表示 xy 的负数，所以定义成了 Int8 格式，第一个字节也从 UInt8 的 0xA1 变成了 Int8 格式。

由于原先的 sendBytes 方法只支持 [UInt8] 参数，所以需要改成泛型方法 sendBytes(channel: IOBluetoothL2CAPChannel, _ bytes: [T])

4、操作方法

先定义一个 sendMouse 方法

func sendMouse(Action: Int8, Rel_X: Int8, Rel_Y: Int8){
        sendData(bytes: hidMouseReport(Action: Action, Rel_X: Rel_X, Rel_Y: Rel_Y))
}

Action 为 0 时是移动光标，Action 为 1 时是按下，在按住的过程中，所有操作的 Action 都是 1，当发送 Action 为 0 的包时视为松开操作。

如果想快速体验，可以将键盘触发绑定发送此方法，也可以在程序中循环一段操作。

四、总结

目前只是初步实现了这个想法，后续还有很多工作要做，比如：
1、实现对外的访问接口，例如实现 socket 服务或者 rpc 来让外部调用控制方法。
2、设备管理，多个蓝牙设备之间的控制不能冲突，同时能识别指定的蓝牙设备。
3、封装操作，将原子操作 sendMouse 封装成 Down、Move 和 Up 操作，根据指针的相对位置换算成屏幕的绝对位置，这样就能方便的接到已有的自动化流程中。