VR设计专业本科生入门必修课03

2017-02-21 本文已影响116人元宇宙云课堂

多感知交互技术解读

在某个领域堪称元老级的游戏公司Illusion在之前推出了一款名为《VR女友》的游戏。

“VR+女友”是其最大卖点，带给你身临其境的沉浸式虚拟恋爱体验。这个虚拟女友，奇妙的恋爱感觉除了需要依靠视觉来感受之外，还是得花个千把块！！VR技术上还需要与虚拟世界的交互。

那么问题来了，要实现完美的沉浸感，虚拟现实的世界中需要用到哪些交互技术呢？

VR虚拟现实作为一场交互方式的新革命，核心原因在于：沉浸感是VR虚拟现实商业化进程的核心，交互则是形成沉浸感的重要一环。今天就为大家揭晓，无论是七种VR交互方式、九种交互方式，还是主流交互方式都在里面噢！

多感知交互技术主要分为动作捕捉、3D光感应、眼动追踪、语音交互、触觉技术、嗅觉及其他感觉交互技术、数据手套和数据衣、模拟设施等等。

动作捕捉

所谓动作捕捉，简单来说就是使人体的“动作”可以被数字化记录，需要捕捉人体的基本动作，包括手势、身体运动等来实现和虚拟现实世界中场景与人物之间的自然交互。

实现手势识别和动作捕捉的主流技术：光学动作捕捉和非光学动作捕捉。

光学动作捕捉包括主动光学捕捉和被动光学捕捉，而非光学动作捕捉技术则包括惯性动作捕捉、机械动作捕捉、电磁动作捕捉甚至超声波动作捕捉。

在众多动作捕捉技术中，机械式动作捕捉技术的成本低，精度也较高，但使用起来非常不方便。

超声波式运动捕捉装备成本较低，但是延迟比较大，实时性较差，精度也不是很高，目前使用的比较少。

电磁动作捕捉技术比较常见，一般由发射源、接收传感器和数据处理单元构成。发射源用于产生按一定规律分布的电磁场，接收传感器则安置在演员的关键位置，随着演员的动作在电磁场中运作，并通过有线或无线方式和数据传输单元相连。电磁式动作捕捉技术的缺点是对环境要求严格，活动限制大。

典型的动作捕捉系统：传感器、信号捕捉设备、数据传输设备和数据处理设备。通过不同技术实现的动作捕捉设备各有优缺点，可以从几个方面来评价：定位精度，实时性，方便程度，可捕捉的动作范围大小，抗干扰性，多目标捕捉能力，等等。

惯性动作捕捉技术

惯性动作捕捉技术也是比较主流的动作捕捉技术之一。其基本原理是通过惯性导航传感器和IMU（惯性测量单元）来测量演员动作的加速度、方位、倾斜角等特性。

惯性动作捕捉技术的特点是不受环境干扰，不怕遮挡，采样速度高，精度高。2015年10月由奥飞动漫参与B轮投资的诺亦腾就是一家提供惯性动作捕捉技术的国内科技创业公司，其动作捕捉设备曾用在2015年最热门的美剧《冰与火之歌：权力的游戏》中，并帮助该剧勇夺第67届艾美奖的“最佳特效奖”。

在剧里，「龙之母」丹妮莉丝和她的龙美丽如画

光学动作捕捉技术

光学动作捕捉技术最常见，基本的原理是通过对目标上特定光点的监视和跟踪来完成动作捕捉的任务，通常基于计算机视觉原理。典型的光学式动作捕捉系统需要若干个相机环绕表演场地，相机的视野重叠区就是演员的动作范围。

演员需要在身体的关键部位，比如脸部、关节、手臂等位置贴上特殊的标志，也就是“Marker”，视觉系统将识别和处理这些标志。当然，现在已经出现了不需要“Marker”标志点的光学动作捕捉技术，由视觉系统直接识别演员的身体关键位置及其运动轨迹。光学动作捕捉技术的特点是演员活动范围大，而且采样速率较高，适合实时动作捕捉，但是系统成本高，而且后期处理的工作量比较大。

最经常使用动作捕捉技术的莫过于游戏、动画和电影行业了。

早在1994年，Sega就在Virtual Fighter 2这款游戏中使用动作捕捉刻画游戏人物的动作。除了游戏公司热衷于使用动作捕捉技术，好莱坞的大导演们也喜欢用这种技术来打造完美的CG效果，部分甚至完全取代了手绘动画。魔兽电影中所有的兽人都是靠动作捕捉+后期合成来呈现了。

动作捕捉的范围

而从动作捕捉的范围来看，又分为手势识别、表情捕捉和身体动作捕捉三大类。

在动作捕捉这个VR细分技术领域云集了诸多相关的产品和技术，国产诺亦腾、Ximmerse以及Dexta都早已名噪海内外。

HTC Lighthouse、被苹果收购的Faceshift Studio、PrioVR PrioVR Pro

PrimeSense、Survios、Control VR等等。

3D光感应

以上提到的几种动作捕捉技术各有优劣，但有一个共同缺点就是系统过于复杂，成本高昂，更适合商用，也就是游戏开发商或者影视制作公司使用。对于普通玩家和用户来说，至少在短期内不太可能用上如此复杂且价格高企的设备。

那么能否有一些相对廉价的家用技术和产品也能实现类似的效果呢？有，而且对游戏玩家来说并不陌生，那就是配合微软XBOX的体感设备Kinect。

Kinect设备基于3D深度影像视觉技术，或者叫结构光3D深度测量技术。Kinect的机身上有3个镜头，中间是常见的RGB彩色摄像头，左右两侧则是由红外线发射器和红外线CMOS感光元件组成的3D深度感应器，Kinect主要就是靠这个3D深度感应器来捕捉玩家的动作。中间的摄像头可以通过算法来识别人脸和身体特征，从而辨识玩家的身份，并识别玩家的基本表情。

在2014年的IDF大会上，Intel着重介绍了全新的RealSense实感技术，并推出了搭载该技术的硬件产品。RealSense也采用了基于结构光技术的传感器，宣称支持多种应用场景，如手势操控、实物3D扫描、实物测量、先拍照后对焦等。支持RealSense技术的平板电脑背部有3个摄像头，这3个摄像头会同时工作，从不同位置捕捉三维环境的照片，然后通过算法来计算出距离和位置关系。

realsense在应用上有一个很大的问题，就是它的feature没法单独提取出来，只能按照它既定的模式存储，这就限制了它的应用范围，比如，客户要把所有人脸的特征都存储在云端，然后做海量人脸搜索，对不起，它做不了，它基本上只适合做单机版产品。

采用类似技术的产品或解决方案的还包括SoftkineticLeapMotion、Project Tango等。但总的来说，3D光感应技术还属于前期的探索阶段，并没有非常成熟的解决方案。

手势跟踪

使用手势跟踪作为交互可以分为两种方式：第一种是使用光学跟踪，比如Leap Motion和NimbleVR这样的深度传感器，第二种是将传感器戴在手上的。光学跟踪的优势在于使用门槛低，场景灵活，用户不需要在手上穿脱设备，未来在一体化移动VR头显上直接集成光学手部跟踪用作移动场景的交互方式是一件很可行的事情。

数据手套，一般在手套上集成了惯性传感器来跟踪用户的手指乃至整个手臂的运动。它的优势在于没有视场限制，而且完全可以在设备上集成反馈机制（比如震动，按钮和触摸）。

数据手套根据其用途，可以分为动作捕捉数据手套和力反馈数据手套两种。顾名思义，动作捕捉数据手套的主要作用就是捕捉人体手部的姿态和动作，通常由多个弯曲传感器组成，可以感知手指关节的弯曲状态。

力反馈手套的主要作用则是借助手套的触觉反馈能力，让用户“亲手”触碰虚拟世界中的场景和物体，并在与使用计算机制作的三维场景和物体的互动中真实感觉到物体的震动和力反馈。

PointGrab、uSens Impression Pi、Oculus&华盛顿大学 Finexus等等。

眼球追踪

眼动追踪的通俗说法就是眼球追踪，最早主要用在视觉系统研究和心理学研究中。早在1879年，法国的生理心理学家Luois Emile Javal就开始通过这种技术来研究人类的注意力。

眼动追踪的原理其实很简单，就是使用摄像头捕捉人眼或脸部的图像，然后用算法实现人脸和人眼的检测、定位和跟踪，从而估算用户的视线变化。目前主要使用光谱成像和红外光谱成像两种图像处理方法，前一种需要捕捉虹膜和巩膜之间的轮廓，而后一种则跟踪瞳孔轮廓。

其实眼球追踪技术对有些用户来说并不陌生，三星和LG都曾经推出过搭载眼球追踪技术的产品。例如三星Galaxy S4就可以通过检测用户眼睛的状态来控制锁屏时间，LG的Optimus手机也可支持使用眼球追踪来控制视频播放。

在虚拟现实头戴设备方面，来自日本FOVE公司的FOVE头盔运用自主研发的方案推出了全球首款支持眼球追求技术的VR头显。

触觉技术

触觉技术又被称作所谓的“力反馈”技术，在游戏行业和虚拟训练中一直有相关的应用。具体来说，它会通过向用户施加某种力、震动或是运动，让用户产生更加真实的沉浸感。触觉技术可以帮助在虚拟的世界中创造和控制虚拟的物体，训练远程操控机械或机器人的能力，甚至是模拟训练外科实习生进行手术。

触觉技术通常包含3种，分别对应人的3种感觉，即皮肤觉、运动觉和触觉。

触觉技术最早用于大型航空器的自动控制装置，不过此类系统都是“单向”的，外部的力通过空气动力学的方式作用到控制系统上。1973年Thomas D.SHANNON注册了首个触觉电话机专利。很快贝尔实验室开发出了首套触觉人机交互系统，并在1975年获得了相关的专利。

此外，部分游戏操控器设备上也开始采用触觉技术。借助触觉反馈设备，才能获得更好的体验，比如说虚拟现实手柄，比如说体感枪。当然，对于VR交互来说，普通游戏手柄毫无疑问只是过渡选择，已经开启订购的Oculus Rift之所以会配备微软XBOX无线手柄，究其原因还是自家的手感控制器Touch没有最终完成。

加入了传感功能的手感控制器无疑更适合作为触觉反馈设备，不管是前面提到的Oculus Touch，还是专为HTC Vive打造的手感操纵器、Sixense STEM以及RazerHydra等等都是非常有趣的触觉反馈设备。相信不用多久，VR用户就能体验到手感控制器所带来的VR交互乐趣了。

NodLabs NodBackspin、NeuroDigital Technologies Gloveone、Delta Six、TriniryVR Trinity Magnum等等。

NodLabs NodBackspin、Delta Six、NeuroDigital Technologies Gloveone、TriniryVR Trinity Magnum

语音交互

Fraunhofer IIS语音交互

在和现实世界进行交流的时候，除了眼神、表情和动作之外，最常用的交互技术就是语音交互了。一个完整的语音交互系统包括对语音的识别和对语义的理解两大部分，不过人们通常用“语音识别”这一个词来概括。语音识别包含了特征提取、模式匹配和模型训练3方面的技术，涉及的领域很多，包括信号处理、模式识别、声学、听觉心理学、人工智能等。

2011年10月，在苹果创始人乔布斯逝世的前夜，苹果公司发布了新款iPhone 4S手机，并搭配名为“Siri”的人工智能助手，而Siri应用所采用的语音识别技术就来自Nuance。虽然苹果对Siri寄予厚望，但是从这几年的实际用户体验和反馈来说，Siri的语音识别能力还远远没有达到人们预期的程度，更多成了人们无聊时候的调侃对象。

在国内，以科大讯飞为代表的中文语音识别技术号称语音识别的准确性可以从以前的60% ～ 70%提升到95%以上。但科大讯飞的技术更多属于对语音的识别，在语义理解方面并没有取得实质性的进展。

相比其他几种交互技术，语音交互技术更多的属于算法和软件的范畴，但其开发的难度及其可提升的空间却丝毫不逊于任何一种交互技术。

传感交互

这里的传感交互是指借助各种传感器技术让VR虚拟现实世界更为真实，这些都是通过各种传感器来实现的，包括温度传感器、压力传感器、视觉传感器，等等。

比如说通过StompzVR将脚步声映射到游戏音效中；通过Cyberith、Virtuix或者KAT的全向跑步机去模拟行走、旋转、跳跃甚至坐下等动作；

Virtuix Omini、KAT KAT Walk、欣富地智能科技 SOULFEELING幻速、KissFuture 弧线X系列VR体验仓等等。

德国波茨坦普拉特拉学院的人类计算机交互实验室开发出 Impacto——一款可穿戴的无线设备，创造 “在VR 中击打和被击打的刺激感觉。 ”

嗅觉及其他感觉交互技术

在虚拟现实的研究中，对于视觉和听觉交互的研究一直占据主流位置，而对于其他感觉交互技术则相对忽视。但仍然有一些研究机构和创业团队在着手解决这些问题。

这款配件由FeelReal公司研发，是一个类似面具的产品，其中内置了加热和冷冻装置、喷雾装置、震动马达、麦克风，还有“能提供7种气味的可拆卸气味发生器”。这7种气味包括海洋、丛林、草地、花朵、火焰、粉末和金属。

多感知交互

为了实现虚拟现实系统中的自然交互，经常需要将多种感知交互技术结合在一起，并形成一种特定的产品或者解决方案。

数据手套和数据衣就是其中最经典的交互解决方案。动作捕捉数据衣是为了让虚拟现实系统识别人体全身运动而设计的输入装置，这里就不再赘述了。

设施和数据手套、数据衣一样，模拟驾驶舱、模拟飞行器或其他的模拟设施并不是一种自然交互技术，而是综合利用各种交互技术设计的产品方案。

未来交互？

交互设计发展史上的每一个重要里程碑，都源自技术和人性的碰撞。从最初的纸带打孔，发展到键盘输入、鼠标输入，再到现在的触摸操作，语音识别，以及已经到来的3D手势、眼动识别。未来还会实现脑机接口，意念控制等。每一次的技术革新及产品升级，都会带来重大的人机交互方式变化。毋庸置疑，VR将成为继互联网、智能手机之后人类生活方式的又一次大跨越。