反馈在MR交互设计中的重要作用

Introduction

在如今迅速发展的MR(即混合现实，此文中MR包含VR、AR两种技术)领域，人机交互设计正面临着新一代的挑战和机遇。目前市场上主流产品的交互方式主要有手势、眼球、控制器和语音四种。而目前这些方式都远未达到像鼠标键盘输入一样可以被用户接受并习惯的程度。因此设计者需要从基本的设计准则出发，对这些交互方式重新进行细致的考量。尤其是，目前这些方式的设计非常欠缺交互的反馈。这使得用户在做出操作后，不能及时得到机器的明确响应，极大地影响了用户体验。因此在MR交互设计中，无论是选择哪种交互方式，都应该加强给用户的反馈，尤其是通过视觉和触觉两方面，这样才能及时地正确引导用户，帮助用户判断和决策，提升用户体验。

Body的素材

手势交互

http://www.jianshu.com/p/939a262826c5
https://www.zhihu.com/question/52686179
http://www.jianshu.com/p/8b5e7e9bf40c
从某个角度来看，人机交互的发展史可以看作是追求自然交互的历史。从最早的纸带打孔到如今窗口和触屏交互，计算机系统对使用者的专业要求越来越低。近来，机器智能的发展使得计算机对人类的自然意识的理解越来越可靠，从而使智能交互有了从实验室走向实用的契机。从视觉及相关信息来实时理解人类的交互意图成为MR系统中的重要一环。在各种自然交互中，手势的识别技术是目前MR的热点。该技术在认知心理学上逐渐受到关注，该交互方式能够给人带来直接、高效的交互体验。它适用于很多应用场景，并且可以进行多场景之间的交互。然而手势交互还没有达到自然交互的程度。kinect。抓握空气，识别延迟和甩手导致指尖充血都非常不爽。
一方面受到稳定性的制约，并不能精准地识别出用户全部的手势。稳定性是交互方式的核心点，只有接近100％的稳定才算合格的技术，因为当用户点击鼠标或者敲击键盘的时候，只要100次中有一次没有反应，用户就会认为鼠标或者键盘坏了。而谷歌Daydream计划中的VR控制器内置的IMU（惯性传感器）稳定性非常高，任何时候都不会掉链子。因此应该告诉用户手势的正确或错误。
目前手势交互没有触感，不能代替体感手柄的存在，不能「摸」出虚拟物体的形状或触感。要和虚拟的物体交互就必须有触觉。
力反馈手套是指能做到抓握动作反馈

http://cn.engadget.com/2016/08/24/dexmo-exoskeleton-glove-force-feedback/
Dexta Robotics公司最近发布一款名叫“Dexmo”的产品，它是一款像手套那样戴在手上使用的未来主义外骨骼。它内置大量的元件，能够与VR体验进行交互，可帮助你感觉握在你的双手的虚拟物体。在「接触」虚拟物体时，它还能为每个手指提供可变的力反馈。简单来说，你将可以在 VR 世界中体验到真正捏橡皮鸭或石头的感觉。
Haptic Workstation 是CyberGlove公司的突破性创新3D触觉产品。该产品是一套完整集成的仿真系统，配有左、右手整个手部的力反馈系统、沉浸式3D立体浏览系统以及简单易用的CAD模型操纵和互动软件。

放大效应

一名微软首席设计师曾经说过 “感知系统的输出必须大于输入，这样才能击中用户体验的甜点，让用户感到惊讶和愉悦。”

http://fashion.chinadaily.com.cn/2016-09/13/content_26783154.htm
评价这些交互方式的核心在于用户付出的能量和时间以及使用的频次和获得的交互效果。鼠标和键盘之所以能够成为PC时代的主流交互方式，是因为用户只要移动鼠标几厘米，光标就可以移至PC屏幕的任何一个位置；手指左右移动几个按键就可以点击到目标按键。智能手机的触摸屏也一样，乔布斯当年并没有把iPhone4的屏幕做得很大，其中一个原因就是为了限制手指的在滑屏距离，减少能量的消耗。贺杰指出，现在Oculus Rift、HTC Vive也有各自的控制器，用户只要旋转控制器一个很小的角度、按动一个按键就可以轻松实现交互的动作，也很省能量，有可能成为主流的交互方式之一。

触觉反馈

用户通过触觉反馈信息给机器已经开始大规模在手机和平板、照相机等上面运用了。例如手机，用户点击某个按钮后，系统会接收到按键输入提示，会立即做出功能响应，发出声音或者震动提示用户。

http://mt.sohu.com/20160527/n451826796.shtml
在Immersion公司(全球领先的触觉反馈技术开发和授权商)提供的一组调查数据中，触感反馈技术揽获了近半用户的喜爱，使用者肯定了这项技术所产生的更为真实且完整的操作体验效果。对于游戏爱好者而言，除了享受炫酷、逼真的画面效果所带来的冲击感，极具震撼的体感效果更是或不可缺的。借由触感反馈技术，玩家可以通过震动力度及时间长短，来判断游戏中人物的状态，这种身临其境的体感能够让玩家更加沉浸其中。对可穿戴设备而言，触觉技术的融入为可穿戴设备的设计功能提供了更多的可能性。比如Immersion公司在移动端TouchSense®触觉解决方案上所制定出的独特的触觉提醒方式，即可通过震感效果的强弱增强用户的体感使用效果。鉴于用户使用习惯的形成，使得处于手机行业前沿的厂商们，渐渐将触觉新技术的发展以及用户体感的提升作为其相互追逐竞争的焦点。触觉反馈技术在手机开发与设计技术中所扮演的愈发重要的角色，如何能够为用户带去更为完善的体验，更为丰富的应用支持和使用场景，才会是该项技术改善用户手机体验的终极目标。
手柄的触觉反馈主要表现在按钮和震动的反馈，让你知道按哪里是在做什么，可以让你在游戏中更好的体验，但是这种方式很难在其他更复杂的环境运用。

摘自Medium

https://medium.com/web-ar/interaction-design-principles-for-augmented-reality-903a597ef4be#.edy1fgm9t
Because AR uses the real world as a canvas, if an interaction includes a real world component, the feedback should take that into account. For instance, consider the instance of somebody moving and placing a hologram onto a table. A form of feedback can be a visual indicator like lighting the hologram and the table when the pairing happens. This tells the user that the digital object has locked onto a physical real world object. Other cases include during initialization where the AR headset maps the real world (SLAM). Check this video from Microsoft that provides great feedback when the hololens initializes to a new environment.

https://medium.com/writing-the-ship/embracing-the-tactile-in-digital-interaction-6e4624513d77#.fgqj9csm4
Since the beginning of computing, the input mechanism has been physical. Trained by years of typing on keys on desktops and computers we have made a mental connection between manipulating real world objects to make changes on the computer screen. This feeling has been re-enforced by the emphasis on direct-manipulation (touch-screen) seen in some PC’s and laptops (the Microsoft Surface and newest MacBook Pro) and almost all smartphones and tables (iPhone, Android, iPad, Surface). It is our subtle training by the keyboard and touch-screen that give current Augmented Reality devices so much friction.
Reliant on weird hand gestures in front of your face — pinching, dragging, dropping, and “blooming” — the Hololens sacrifices natural human comfort and ease to feel more futuristic. Within minutes of using the Hololens, the user wants to give their arms a rest, not to mention the tension they feel in their neck from gaze tracking.
I know it is still an experimental technology, but after my experience with the Hololens, it was a relief to use my phone. And if AR wants to seize its potential in the market, it can’t be this way.
Instead, Augmented Reality interaction should get over its desire to fulfill the Minority Report vision for itself of big screen projected over an environment and instead seek to better incorporate itself into the real world. With current object tracking and recognition, objects should be supplemented with the digital in order to become the menus themselves. With tracker technology in developer programs such as AR toolkit, it is now possibly to turn any image in a object tracker. By making these images physical (like a card or coaster), one can use real physical objects as controllers for digital objects. No matter how far technology goes, human’s — as the original toolmakers — will still want and need physical manipulation. If the AR industry’s wants the truly fluid interaction they claim to seek, it must recognize this to make a more human experience.