MixedRealityToolkit-Unity：MR应用必用

2021-01-04 本文已影响0人洪智

洪流学堂，让你快人几步。你好，我是你的技术探路者郑洪智，你可以叫我大智。
本篇文章首发于我的公众号：洪流学堂

MRTK-Unity是一个由Microsoft驱动的开源项目，提供了多种组件和功能，用于加速Unity中的跨平台MR应用程序开发。以下是其一些功能：

提供跨平台输入系统和用于空间交互和UI组件。
启用快速原型通过在编辑器中的模拟，让你马上看到变化。
作为可扩展框架运行，为开发人员提供了交换核心组件的能力。
支持多种平台，包括
HoloLens
HoloLens 2
Windows Mixed Reality头盔
OpenVR头盔（HTC Vive / Oculus Rift）
Ultraleap手部跟踪
iOS和Android等移动设备

MRTK入门

如果您不熟悉Unity中的MRTK或Mixed Reality开发，建议从 Microsoft Docs的Unity开发旅程文档开始。Unity开发之旅是专门为使新开发人员了解MRTK的安装，核心概念和使用而量身定制的。


重要信息：Unity开发过程当前使用MRTK版本2.4.0和Unity 2019.4。

所需软件


Windows SDK 18362+	Unity 2018.4.x	Visual Studio 2019	仿真器（可选）
要使用MRTK v2生成应用程序，您需要Windows 10 May 2019 Update SDK。要运行沉浸式耳机的应用程序，您需要Windows 10 Fall Creators Update。	Unity 3D引擎为在Windows 10中构建混合现实项目提供支持	Visual Studio用于代码编辑，部署和构建UWP应用程序包	模拟器可让您在模拟环境中在没有设备的情况下测试您的应用

功能


输入系统	手部追踪（HoloLens 2）	眼动追踪（HoloLens 2）	设置	手部追踪（Ultraleap）
UI控件	解算器	多场景管理	空间感知	诊断工具
MRTK标准着色器	语音合成与识别	边界系统	编辑器内模拟	实验功能

UX组件


按钮	边界控制	对象操纵器
一个按钮控件，支持各种输入方法，包括HoloLens 2的带关节的手	用于处理3D空间中对象的标准UI	用一只手或两只手操纵对象的脚本
Slate	系统键盘	可交互物体
2D样式平面，支持通过手动输入进行滚动	在Unity中使用系统键盘的示例脚本	使对象与视觉状态和主题支持可交互的脚本
解算器	对象集合	工具提示
各种对象定位行为，例如标签沿，身体锁定，恒定的视图大小和表面磁性	用于以三维形状布置对象阵列的脚本	具有灵活锚定/轴系统的注释UI，可用于标记运动控制器和对象
滑杆	MRTK标准着色器	手菜单
滑块UI，用于调整值，支持直接的手部跟踪交互	MRTK的标准着色器支持各种Fluent设计元素，并具有出色的性能	手动锁定用户界面，使用“手动约束求解器”可快速访问
应用栏	指针	指尖可视化
用于Bounds Control手动激活的UI	了解各种类型的指针	指尖上的视觉承受能力提高了直接交互的信心
近场菜单	空间感知	语音命令/听写
浮动菜单用户界面，用于近距离交互	使您的全息对象与物理环境互动	集成语音输入的脚本和示例
进度指标	对话框[实验]	手势教练[实验性]
可视指示器，用于传达数据过程或操作	要求用户确认或确认的UI	在未教手势时帮助引导用户的组件
手部物理[实验性]	滚动收藏	Dock[实验性]
手部物理服务可实现刚体碰撞事件以及与关节手的相互作用	原生滚动3D对象的对象集合	Dock允许将对象移入和移出预定位置
眼动追踪：目标选择	眼动追踪：导航	眼动追踪：热图
结合眼睛，声音和手部输入，快速轻松地选择整个场景中的全息图	了解如何根据您的查看内容自动滚动文本或流畅地放大重点内容	记录，加载和可视化用户在您的应用程序中查看内容的示例

工具类


优化窗口	依赖窗口	构建窗口	输入录音
自动配置混合现实项目以优化性能	分析资产之间的依存关系并识别未使用的资产	为混合现实应用程序配置并执行端到端构建过程	在编辑器中记录和回放头部运动和手部跟踪数据

场景示例

在此示例场景中，探索MRTK的各种类型的交互和UI控件。

可以在Assets / MixedRealityToolkit.Examples / Demos文件夹下找到其他示例场景。

MRTK示例中心

使用MRTK示例中心，可以尝试MRTK中的各种示例场景。可以在Release Assets文件夹下找到HoloLens（x86），HoloLens 2（ARM）和Windows Mixed Reality沉浸式耳机（x64）的预构建应用程序包。使用Windows设备门户在HoloLens上安装应用程序。在HoloLens 2上，可以通过Microsoft Store应用程序下载并安装MRTK示例中心。

请参阅示例中心自述页面，以了解有关使用MRTK的场景系统和场景转换服务创建多场景中心的详细信息。

使用MRTK制作的示例应用



元素周期表是一个开源示例应用程序，演示了如何使用MRTK的输入系统和构建块为HoloLens和沉浸式耳机创建应用程序体验。阅读移植故事：通过MRTK v2将Elements的元素周期表引入HoloLens 2	Galaxy Explorer是一个开源示例应用程序，最初作为HoloLens“分享您的想法”活动的一部分于2016年3月开发。已使用MRTK v2更新了Galaxy Explorer的HoloLens 2新功能。阅读故事：HoloLens 2的Galaxy Explorer的制作	Surfaces是适用于HoloLens 2的开源示例应用程序，它探索了我们如何通过视觉，音频和完全铰接的手部跟踪来创造触感。在Surfaces应用程序中查看Microsoft MR Dev Days会话学习，了解详细的设计和开发故事。