VR和AR研究

基本概念

VR简介

VR(Virtual Reality)：虚拟现实，虚拟现实技术是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种模拟环境，是一种多源信息融合的、交互式的三维动态视景和实体行为的系统仿真使用户沉浸到该环境中。

虚拟现实技术演变发展史大体上可以分为四个阶段：

• 有声形动态的模拟是蕴涵虚拟现实思想的第一阶段（1963年以前）；
• 虚拟现实萌芽为第二阶段（1963 -1972 ）；
• 虚拟现实概念的产生和理论初步形成为第三阶段（1973 -1989 ）；
• 虚拟现实理论进一步的完善和应用为第四阶段（1990 -2004 ）。

• 虚拟现实技术是仿真技术的一个重要方向
• 是仿真技术与计算机图形学人机接口技术多媒体技术传感技术网络技术等多种技术的集合
• 是一门富有挑战性的交叉技术前沿学科和研究领域。

VR主要包括模拟环境、感知、自然技能和传感设备等方面。模拟环境是由计算机生成的、实时动态的三维立体逼真图像。感知是指理想的VR应该具有一切人所具有的感知。除计算机图形技术所生成的视觉感知外，还有听觉、触觉、力觉、运动等感知，甚至还包括嗅觉和味觉等，也称为多感知。自然技能是指人的头部转动，眼睛、手势、或其他人体行为动作，由计算机来处理与参与者的动作相适应的数据，并对用户的输入作出实时响应，并分别反馈到用户的五官。传感设备是指三维交互设备。

Google推荐的两款设备：

头戴设备 CardView纸壳设备

AR简介

AR(Augmented Reality)：是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、3D模型的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。这种技术1990年提出。随着随身电子产品CPU运算能力的提升，预期增强现实的用途将会越来越广

增强现实显示器，将计算机生成的图形叠加到真实世界中。自从二十世纪七十年代早期，Pong进入电子游戏厅以来，视频游戏走进我们的生活已经有30多年了，但是一直局限在屏幕中的2D世界中，而增强现实这一新技术的到来，将通过增强我们的见、声、闻、触和听，进一步模糊真实世界与计算机所生成的虚拟世界之间的界线。

从虚拟现实（创建身临其境的、计算机生成的环境）和真实世界之间的光谱来看，增强现实更接近真实世界。增强现实将图像、声音、触觉和气味按其存在形式添加到自然世界中。由此可以预见视频游戏会推动增强现实的发展，但是这项技术将不仅仅局限于此，而会有无数种应用。从旅行团到军队的每个人都可以通过此技术将计算机生成的图像放在其视野之内，并从中获益。

增强现实技术，它是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息,声音,味道,触觉等),通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。

增强现实技术，不仅展现了真实世界的信息,而且将虚拟的信息同时显示出来，两种信息相互补充、叠加。在视觉化的增强现实中，用户利用头盔显示器，把真实世界与电脑图形多重合成在一起，便可以看到真实的世界围绕着它。

增强现实技术包含了多媒体、三维建模、实时视频显示及控制、多传感器融合、实时跟踪及注册、场景融合等新技术与新手段。增强现实提供了在一般情况下，不同于人类可以感知的信息。

跳跃

AR系统具有三个突出的特点：
①真实世界和虚拟的信息集成；
②具有实时交互性；
③是在三维尺度空间中增添定位虚拟物体。AR技术可广泛应用于多等领域。

模拟汽车

常见应用示例

Google的ARCore SDK

https://developers.google.com/ar/
https://developers.google.com/vr/

360度环绕

EasyAR

https://www.easyar.cn/

EasyAR Demo

QQ-AR

https://ar.qq.com/

QQ-AR Demo

原理

技术特点

VR艺术是伴随着“虚拟现实时代”的来临应运而生的一种新兴而独立的艺术门类，在《虚拟现实艺术： 形而上的终极再创造》一文中，关于VR艺术有如下的定义：“以虚拟现实（VR）、增强现实（AR）等人工智能技术作为媒介手段加以运用的艺术形式，我们称之为虚拟现实艺术，简称VR艺术。该艺术形式的主要特点超文本性和交互性。”

“作为现代科技前沿的综合体现，VR艺术是通过人机界面对复杂数据进行可视化操作与交互的一种新的艺术语言形式，它吸引艺术家的重要之处，在于艺术思维与科技工具的密切交融和二者深层渗透所产生的全新的认知体验。与传统视窗操作下的新媒体艺术相比，交互性和扩展的人机对话，是VR艺术呈现其独特优势的关键所在。从整体意义上说，VR艺术是以新型人机对话为基础的交互性的艺术形式，其最大优势在于建构作品与参与者的对话，通过对话揭示意义生成的过程。

艺术家通过对VR、AR等技术的应用，可以采用更为自然的人机交互手段控制作品的形式，塑造出更具沉浸感的艺术环境和现实情况下不能实现的梦想，并赋予创造的过程以新的含义。如具有VR性质的交互装置系统可以设置观众穿越多重感官的交互通道以及穿越装置的过程，艺术家可以借助软件和硬件的顺畅配合来促进参与者与作品之间的沟通与反馈，创造良好的参与性和可操控性；也可以通过视频界面进行动作捕捉，储存访问者的行为片段，以保持参与者的意识增强性为基础，同步放映增强效果和重新塑造、处理过的影像；通过增强现实、混合现实等形式，将数字世界和真实世界结合在一起，观众可以通过自身动作控制投影的文本，如数据手套可以提供力的反馈，可移动的场景、360度旋转的球体空间不仅增强了作品的沉浸感，而且可以使观众进入作品的内部，操纵它、观察它的过程，甚至赋予观众参与再创造的机会。”

VR关键技术

• 实时三维计算机图形技术，广角（宽视野）立体显示技术
• 对观察者头、眼和手的跟踪技术
• 以及触觉/力觉反馈、立体声、网络传输、语音输入输出技术等

VR立体显示

人看周围的世界时，由于两只眼睛的位置不同，得到的图像略有不同，这些图像在脑子里融合起来，就形成了一个关于周围世界的整体景象，这个景象中包括了距离远近的信息。当然，距离信息也可以通过其他方法获得，例如眼睛焦距的远近、物体大小的比较等。

在VR系统中，双目立体视觉起了很大作用。用户的两只眼睛看到的不同图像是分别产生的，显示在不同的显示器上。有的系统采用单个显示器，但用户带上特殊的眼镜后，一只眼睛只能看到奇数帧图像，另一只眼睛只能看到偶数帧图像，奇、偶帧之间的不同也就是视差就产生了立体感。

用户（头、眼）的跟踪：在人造环境中，每个物体相对于系统的坐标系都有一个位置与姿态，而用户也是如此。用户看到的景象是由用户的位置和头（眼）的方向来确定的。

画面立体重叠

跟踪头部运动的虚拟现实头套：在传统的计算机图形技术中，视场的改变是通过鼠标或键盘来实现的，用户的视觉系统和运动感知系统是分离的，而利用头部跟踪来改变图像的视角，用户的视觉系统和运动感知系统之间就可以联系起来，感觉更逼真。另一个优点是，用户不仅可以通过双目立体视觉去认识环境，而且可以通过头部的运动去观察环境。

在用户与计算机的交互中，键盘和鼠标是目前最常用的工具，但对于三维空间来说，它们都不太适合。在三维空间中因为有六个自由度，我们很难找出比较直观的办法把鼠标的平面运动映射成三维空间的任意运动。现在，已经有一些设备可以提供六个自由度，如3Space数字化仪和SpaceBall空间球等。另外一些性能比较优异的设备是数据手套和数据衣。

感觉反馈

在一个VR系统中，用户可以看到一个虚拟的杯子。你可以设法去抓住它，但是你的手没有真正接触杯子的感觉，并有可能穿过虚拟杯子的“表面”，而这在现实生活中是不可能的。解决这一问题的常用装置是在手套内层安装一些可以振动的触点来模拟触觉。

语音

在VR系统中，语音的输入输出也很重要。这就要求虚拟环境能听懂人的语言，并能与人实时交互。而让计算机识别人的语音是相当困难的，因为语音信号和自然语言信号有其“多边性”和复杂性。例如，连续语音中词与词之间没有明显的停顿，同一词、同一字的发音受前后词、字的影响，不仅不同人说同一词会有所不同，就是同一人发音也会受到心理、生理和环境的影响而有所不同。

使用人的自然语言作为计算机输入目前有两个问题，首先是效率问题，为便于计算机理解，输入的语音可能会相当啰嗦。其次是正确性问题，计算机理解语音的方法是对比匹配，而没有人的智能。

AR原理

从本质上讲，手机AR技术在做两件事

• 在手机移动时跟踪它的位置
• 构建自己对现实世界的理解。

运动跟踪技术使用手机摄像头标识兴趣点（称为特征点），并跟踪这些点随着时间变化的移动。 将这些点的移动与手机惯性传感器的读数组合，在手机移动时确定它的位置和屏幕方向。

除了标识关键点外，还要检测平坦的表面（例如地面和墙面），并估测周围区域的平均光照强度。 这些功能共同让机器本身可以构建自己对周围世界的理解。

借助对现实世界的理解，让人能够以一种与现实世界无缝整合的方式添加物体、注释或其他信息。 使用者可以将一只打盹的小狗放在书桌的一角，或者利用画家的生平信息为一幅画添加注释。 运动跟踪意味着用户可以移动和从任意角度查看这些物体，即使离开房间，当用户回来后，小狗或注释还会在添加的地方。

通过将渲染 3D 内容的虚拟摄像头的姿态与AR设备摄像头的姿态对齐，开发者能够从正确的透视角度渲染虚拟内容。 渲染的虚拟图像可以叠加到从设备摄像头获取的图像上，让虚拟内容看起来就像现实世界的一部分一样。

利用命中检测来获取对应于手机屏幕的 (x,y) 坐标（通过点按或应用支持的任何其他交互提供），并将一条射线投影到摄像头的视野中，返回这条射线贯穿的任何平面或特征点以及交叉位置在现实世界空间中的位置和姿态。 这让用户可以选择环境中的物体或者与它们互动。
定向点可以把虚拟物体摆放在非水平的表面上。当运行命中测试而返回特征点时，再查看附近的特征点并使用它们来尝试估计给定特征点处的表面角度。 然后生成一个顾及该角度的姿势。

一直看着你

手机的位置和姿态会发生变化，就要更新平面和特征点等环境物体随时间推移的位置。平面和特征点是一种特殊类型的物体，称为可跟踪对象。用户可以将虚拟物体锚定到特定的可跟踪对象，确保虚拟物体与可跟踪对象之间的关系即使在设备移动时也能保持稳定。这意味着，如果将一个虚拟的小狗放在书桌上，就算稍后调整了与书桌关联的平面的姿态，小狗仍会看起来位于桌子上。

VR和AR的应用

医学

在医学院校，学生可在虚拟实验室中，进行“尸体”解剖和各种手术练习。用这项技术，由于不受标本、场地等的限制，所以培训费用大大降低。一些用于医学培训、实习和研究的虚拟现实系统，仿真程度非常高，其优越性和效果是不可估量和不可比拟的。例如，导管插入动脉的模拟器，可以使学生反复实践导管插入动脉时的操作；眼睛手术模拟器，根据人眼的前眼结构创造出三维立体图像，并带有实时的触觉反馈，学生利用它可以观察模拟移去晶状体的全过程，并观察到眼睛前部结构的血管、虹膜和巩膜组织及角膜的透明度等。还有麻醉虚拟现实系统、口腔手术模拟器等。

VR游戏

丰富的感觉能力与3D显示环境使得VR成为理想的视频游戏工具。由于在娱乐方面对VR的真实感要求不是太高，故近些年来VR在该方面发展最为迅猛。如Chicago（芝加哥）开放了世界上第一台大型可供多人使用的VR娱乐系统，其主题是关于3025年的一场未来战争；英国开发的称为“Virtuality”的VR游戏系统，配有HMD，大大增强了真实感；另外在家庭娱乐方面VR也显示出了很好的前景。

军事航天

模拟训练一直是军事与航天工业中的一个重要课题，这为VR提供了广阔的应用前景。美国国防部高级研究计划局DARPA自80年代起一直致力于研究称为SIMNET的虚拟战场系统，以提供坦克协同训练，该系统可联结200多台模拟器。另外利用VR技术，可模拟零重力环境，替非标准的水下训练宇航员的方法。

室内设计

虚拟现实不仅仅是一个演示媒体，而且还是一个设计工具。它以视觉形式反映了设计者的思想，比如装修房屋之前，你首先要做的事是对房屋的结构、外形做细致的构思，为了使之定量化，你还需设计许多图纸，当然这 些图纸只能内行人读懂，虚拟现实可以把这种构思变成看得见的虚拟物体和环境，使以往只能借助传统的设计模式提升到数字化的即看即所得的完美境界，大大提高了设计和规划的质量与效率。运用虚拟现实技术，设计者可以完全按照自己的构思去构建装饰“虚拟”的房间，并可以任意变换自己在房间中的位置，去观察设计的效果，直到满意为止。既节约了时间，又节省了做模型的费用。

房产开发，贝壳的VR看房，AR家装

随着房地产业竞争的加剧，传统的展示手段如平面图、表现图、沙盘、样板房等已经远远无法满足消费者的需要。因此敏锐把握市场动向，果断启用最新的技术并迅速转化为生产力，方可以领先一步，击溃竞争对手。

工业仿真

当今世界工业已经发生了巨大的变化，大规模人海战术早已不再适应工业的发展，先进科学技术的应用显现出巨大的威力，特别是虚拟现实技术的应用正对工业进行着一场前所未有的革命。虚拟现实已经被世界上一些大型企业广泛地应用到工业的各个环节，对企业提高开发效率，加强数据采集、分析、处理能力，减少决策失误，降低企业风险起到了重要的作用。虚拟现实技术的引入，将使工业设计的手段和思想发生质的飞跃,更加符合社会发展的需要，可以说在工业设计中应用虚拟现实技术是可行且必要的。

文物古迹，AR景点介绍

利用虚拟现实技术，结合网络技术，可以将文物的展示、保护提高到一个崭新的阶段。首先表现在将文物实体通过影像数据采集手段，建立起实物三维或模型数据库，保存文物原有的各项型式数据和空间关系等重要资源，实现濒危文物资源的科学、高精度和永久的保存。 其次利用这些技术来提高文物修复的精度和预先判断、选取将要采用的保护手段，同时可以缩短修复工期。 通过计算机网络来整合统一大范围内的文物资源，并且通过网络在大范围内来利用虚拟技术更加全面、生动、逼真地展示文物，从而使文物脱离地域限制，实现资源共享，真正成为全人类可以“拥有”的文化遗产。使用虚拟现实技术可以推动文博行业更快地进入信息时代，实现文物展示和保护的现代化。

此外还有，更贴近生活

• 轨道交通
• 仿真制造
• 教育
• 地理
• 京东淘宝的VR展示
• VR小电影
• 酒店、医院、学校、的VR预览