辅助功能Accessibility

2019-08-07 本文已影响0人 wind_sky

辅助功能服务是一种应用程序，它提供用户界面增强功能，以帮助残疾用户或暂时无法与设备完全交互的用户。例如，正在驾驶、照顾小孩或参加非常大声的聚会的用户可能需要额外的或可选的界面反馈。Android提供标准的可访问性服务，像TalkBack（对讲机），开发人员可以创建和分发自己的服务。

创建AccessibilityService

可访问性服务必须扩展AccessibilityService 类并重写该类中的以下方法。这些方法按Android系统调用它们的顺序呈现，从Service 启动时（onServiceConnected()）到Service 运行时（onAccessibilityEvent()，onInterrupt()）到关闭时（onUnbind()）

class AccessibilityDemoService : AccessibilityService() {

    override fun onServiceConnected() {}

    override fun onAccessibilityEvent(event: AccessibilityEvent?) {}

    override fun onInterrupt() {}

    override fun onUnbind() {}
}

onServiceConnected() -（可选）此系统在成功连接到辅助功能服务时调用此方法。使用此方法为我们的Service 执行任何一次性设置步骤，包括连接到用户反馈系统服务，如音频管理器或设备震动器。如果我们想在运行时设置服务的配置或进行一次性调整，可以在这调用setServiceInfo() 方法。
onAccessibilityEvent() -（必需）当系统检测到与辅助功能服务指定的事件筛选参数匹配的AccessibilityEvent时，系统会调用此方法。例如，当用户单击按钮或关注应用程序中的用户界面控件时，您的辅助功能服务将为其提供反馈。当发生这种情况时，系统调用这个方法，传递相关的accessibilityEvent，然后服务可以解释并使用它向用户提供反馈。在Service 的生命周期中，会多次调用此方法。
onInTerrupt() -（必需）当系统想要中断我们的服务提供的反馈时，通常是为了响应用户的操作（如将焦点移动到其他控件），调用此方法。在Service 的生命周期中，会多次调用此方法。
onUnbind() -（可选）当系统即将关闭辅助功能服务时调用此方法。使用此方法执行任何一次性关闭过程，包括取消分配用户反馈系统服务，如音频管理器或设备震动器。

这些回调方法组成了辅助服务的基本结构，我们可以从AccessibilityEvent 对象中拿出Android 系统提供的数据来进行处理，然后提供给用户反馈。

注册AccessibilityService

上面创建了一个AccessibilityService 的子类，因为它是一个Service，所以我们需要在AndroidManifest 文件中注册

<service
        android:name=".AccessibilityDemoService"
        android:permission="android.permission.BIND_ACCESSIBILITY_SERVICE"
        android:label="@string/app_name">           <!-- 用于在辅助功能设置里展示的名称 -->
        <intent-filter>
                <action android:name="android.accessibilityservice.AccessibilityService"/>
        </intent-filter>
        <meta-data                                                      <!-- 配置信息 -->
                android:name="android.accessibilityservice"
                android:resource="@xml/accessibility_service_config"/>          <!-- 引用的配置文件 -->
</service>

在上面的注册代码中，提到了配置信息，配置AccessibilityService 有两种方式，

一种是通过xml，不过要求Android 系统版本在4.0 以上，配置文件的示例如下

<?xml version="1.0" encoding="utf-8"?>
<accessibility-service xmlns:android="http://schemas.android.com/apk/res/android"
    android:description="@string/accessibility_service_description"     <!-- 辅助功能设置里展示的描述 -->
    android:packageNames="com.whx.practice"         <!-- 要监听的应用的包名 -->
    android:accessibilityEventTypes="typeAllMask"       <!-- 响应的事件类型 -->
    android:accessibilityFlags="flagDefault"        <!-- 额外功能的flag -->
    android:accessibilityFeedbackType="feedbackGeneric"     <!-- 回馈给用户的方式 -->
    android:notificationTimeout="100"               <!-- 发送给该服务两次相同类型事件的最小时间间隔 -->
    android:canRetrieveWindowContent="true"/>           <!-- 允许获取手机页面中的信息 -->

另外一种是在Java 代码中配置，一般是在自定义的AccessibilityService 的onServiceConnected 方法中设置，需要用到AccessibilityServiceInfo 类

override fun onServiceConnected() {
    val info = AccessibilityServiceInfo()
    info.apply {
        // 设置响应的事件类型，未配置的其他类型的事件不会传递到该Service
        eventTypes = AccessibilityEvent.TYPE_VIEW_CLICKED or AccessibilityEvent.TYPE_VIEW_FOCUSED

        // 监听的应用包名，不设置会监听所有应用
        packageNames = arrayOf("com.example.android.myFirstApp", "com.example.android.mySecondApp")

        // 回馈方式
        feedbackType = AccessibilityServiceInfo.FEEDBACK_SPOKEN

        // 当Service 没有配置监听包名时可以设置flag，如果配置了那么flag 就没有什么必要了，可以设置为 DEFAULT
        // flags = AccessibilityServiceInfo.DEFAULT;

        notificationTimeout = 100
    }
    this.serviceInfo = info         // 配置
}

可配置的响应的事件类型

        #TYPES_ALL_MASK：所有类型
        #TYPE_VIEW_CLICKED ：单击
        #TYPE_VIEW_LONG_CLICKED ：长按
        #TYPE_VIEW_SELECTED ：选中
        #TYPE_VIEW_FOCUSED ：获取焦点
        #TYPE_VIEW_TEXT_CHANGED ：文字改变
        #TYPE_WINDOW_STATE_CHANGED ：窗口状态改变
        #TYPE_NOTIFICATION_STATE_CHANGED ：通知状态改变
        #TYPE_VIEW_HOVER_ENTER
        #TYPE_VIEW_HOVER_EXIT
        #TYPE_TOUCH_EXPLORATION_GESTURE_START
        #TYPE_TOUCH_EXPLORATION_GESTURE_END
        #TYPE_WINDOW_CONTENT_CHANGED
        #TYPE_VIEW_SCROLLED
        #TYPE_VIEW_TEXT_SELECTION_CHANGED
        #TYPE_ANNOUNCEMENT
        #TYPE_VIEW_TEXT_TRAVERSED_AT_MOVEMENT_GRANULARITY
        #TYPE_GESTURE_DETECTION_START
        #TYPE_GESTURE_DETECTION_END
        #TYPE_TOUCH_INTERACTION_START
        #TYPE_TOUCH_INTERACTION_END
        #TYPE_WINDOWS_CHANGED

获取事件的详情

Android系统通过AccessibilityEvent对象向辅助服务提供有关用户界面交互的信息。在Android 4.0之前，可访问性事件中可用的信息提供了大量关于用户选择的用户界面控件的详细信息，但提供的上下文信息有限。在许多情况下，这种缺失的上下文信息对于理解所选控件的含义可能是至关重要的。

上下文至关重要的界面示例是日历或日计划器。如果用户在星期一到星期五的列表中选择了一个下午4:00 的时段，并且辅助功能服务宣布为“下午4点”，但没有说明工作日名称、月份日期或月份名称，则产生的反馈会令人困惑。在这种情况下，用户界面控件的上下文对于希望安排会议的用户至关重要。

Android4.0 通过基于视图层次结构组合可访问性事件，显著扩展了AccessibilityService 可以获得的有关用户界面交互的信息量。View 层次结构是一组用户界面组件，其中包含组件（其父组件）和该组件（子组件）可能包含的用户界面元素。通过这种方式，Android系统可以提供更多关于可访问性事件的细节，允许AccessibilityService 向用户提供更有用的反馈。

可访问性服务通过系统传递给服务的onAccessibilityEvent() 回调方法的AccessibilityEvent 获取有关用户界面事件的信息。此对象提供有关事件的详细信息，包括正在操作的对象类型、其描述性文本和其他详细信息。从Android 4.0 开始（并在以前的版本中通过支持库中的accessibilityEventCompat对象支持），我们可以通过调用以下方法获取有关事件的其他信息：

AccessibilityEvent.getRecordCount() 和 getRecord(int)，这两个方法返回AccessibilityRecord 的对象集合，这些对象是系统传递给我们的事件的重要组成部分，这种级别的内容能够提供更多关于触发Service 的事件的上下文。
AccessibilityEvent.getResource() 方法返回AccessibilityNodeInfo 对象，这个对象可以用来获取产生AccessibilityEvent 的组件的view 的布局树，这个功能允许AccessibilityService 获取事件的全部上下文，包括View 的content 和状态

注意：若要通过getSource 方法获取View 的层级等内容，需要在配置AccessibilityService 时在xml 配置文件中设置canRetrieveWindowContent 属性为true，否则该方法会失败。另外，在Android 4.1 及以上，AccessibilityNodeInfo 对象的getChild 或getParent 方法，只会返回重要的View 对象，所谓重要的就是指那些会绘制内容或者响应用户行为的View，如果想要获取所有View，需要在配置Service 时指定flag，即FLAG_INCLUDE_NOT_IMPORTANT_VIEWS。

模拟用户行为

Android 4.0（API级别14）中增加了AccessibilityService 执行用户操作的能力，并在Android 4.1（API级别16）中进行了显著扩展。为了能模拟用户行为，AccessibilityService 必须注册接收来自几个或多个应用程序的事件，并通过在服务配置文件中将android:canRetrieveWindowContent 设置为 true 来请求查看应用程序内容的权限。当服务接收到事件时，我们可以调用getSource() 从事件中检索AccessibilityNodeInfo对象。使用AccessibilityNodeInfo 对象，可以浏览视图层次结构，以确定要采取的操作，然后调用performAction() 为用户执行操作。

class MyAccessibilityService : AccessibilityService() {

    override fun onAccessibilityEvent(event: AccessibilityEvent) {
        // 获取 AccessibilityNodeInfo
        event.source?.apply {
            // 调用该方法模拟用户行为
            performAction(AccessibilityNodeInfo.ACTION_SCROLL_FORWARD)

            // 回收 nodeInfo 对象
            recycle()
        }
    }
    ...
}

performation() 方法只允许服务在应用程序中执行操作，如果服务需要执行全局操作，如导航到主屏幕、按后退按钮、打开通知屏幕或最近的应用程序列表，则应该调用performGlobalAction() 方法。

一般情况下，我们可能需要针对某一个View 进行操作，AccessibilityNodeInfo 提供了两个查找NodeInfo 的方法，

一种是findAccessibilityNodeInfosByViewId，即通过View 的id 来查找View 对应的AccessibilityNodeInfo，这个方法需要传递一个表示id 的字符串，格式为 "packageName:id/resourceId"，比如应用包名是"com.whx"，其中一个Button 的id 是"test_click"，这里拼接完的id 字符串就是 "com.whx:id/test_click"，

另一种是findAccessibilityNodeInfosByText，通过View 的文案来查找node，这个方法接收一个text 的字符串参数，并对text 进行匹配，匹配是不区分大小写的。

可访问性焦点

Android4.1（API级别16）引入了一种新的用户界面焦点，称为可访问性焦点。辅助功能服务可以使用这种类型的焦点来选择任何可见的用户界面元素并对其进行操作。这种焦点类型不同于众所周知的输入焦点，它决定当用户键入字符、按键盘上的Enter键或按D-Pad控件的中心按钮时，屏幕上的用户界面元素接收什么输入。

辅助功能焦点完全独立于输入焦点。事实上，用户界面中的一个元素可能具有输入焦点，而另一个元素具有可访问性焦点。可访问性焦点的目的是为可访问性服务提供一种与屏幕上任何可见元素交互的方法，而不管该元素是否可从系统的角度输入焦点。通过测试可访问性手势，可以看到可访问性焦点的作用。

注意：使用辅助功能焦点的辅助功能服务应该在元素能够使用此类型焦点时同步当前的输入焦点。如果AccessibilityService 不将输入焦点与可访问性焦点同步，那么当一个应用程序在执行某些操作时，希望输入焦点位于特定位置的情况下，可能会产生问题。

可访问性服务可以使用AccessibilityNodeInfo.findFocus() 方法确定哪些用户界面元素具有输入焦点或可访问焦点。我们可以使用focusSearch() 方法搜索可以使用输入焦点选择的元素。同时，还可以使用performAction(AccessibilityNodeInfo.ACTION_SET_ACCESSIBILITY_FOCUS) 方法设置辅助功能焦点。

辅助功能Accessibility

猜你喜欢

热点阅读