从网剧《唐人街探案》主角林默到Ambisonics 技术,声重放
作者:张泽强
最近火热的网剧非《唐人街探案》莫属了。看过同名电影的人都知道,它是一个破案的侦探系列的片子。在这部网剧中,邱泽用他精湛的演技,把主角林默破案的细节演得惟妙惟肖,广受好评。也借此让我们了解了导演柯汶利“唐探宇宙”的雏形。这部网剧比起电影版,更让人觉得不可思议。
网剧《唐人街探案》豆瓣评分在剧中,林默被塑造成一位侦探天才,善于通过观察和演绎推理来定位和解决问题。当他第一次和警察局局长见面时,就凭借敏锐的声音、气味捕捉能力和细致的观察力,分分钟准确推断出案件真相。
一个从故事最初就披着光芒的聪明侦探,随着剧情推进不断剥落出“黑暗”的一面,这个亦正亦邪的形象,颠覆了观众对中国传统侦探的认知。
主角林默超强的听觉与嗅觉这部剧的第二个故事“玫瑰的名字”中,编剧揭秘了男主林默的来历。童年时,林默藏在柜子里,亲眼目睹了自己的生母被害。长大后,林默成为了一名化学老师,同时也成为了一名“清道夫”。白天,林默锻炼嗅觉钻研化学,练习听力于百米外知晓对手动态;夜晚,林默帮犯罪集团清理作案现场利用蛛丝马迹推理,犹如身临其境 。在一次“清理”过程中,对手布下天罗地网准备抓捕林默,可没想到林默依靠高超的听力和嗅觉,一步步的构想出了对手的踪迹,并帮助自己成功逃脱。林默所做这一切,并不是因为钱自甘堕落,而是想借此靠近罪恶,寻找记忆中的杀害母亲的凶手。
想必很多观众也希望自己能有像主角林默拥有一双“金耳朵”,能在百米之外洞悉还原现场的一切。而现在Ambisonics(高保真度立体声像复制) 技术的应用,可以使观众不需要练习,足不出户便可拥有“声临其境”般震撼的空间声重建效果。
什么是Ambisonic声重放技术?它包含哪些内容?
Ambisonics 是一种基于全局声场球谐展开的音频技术。它将原始声源方向信息分解到几个Ambisonics信号中,之后根据扬声器配置,通过准确重建声像来计算个扬声器参数,最后基于这些参数实现信号的准确重放。
Ambisonics示意图Ambisonics声重放的基本原理是根据Gerzon听觉定位模型对重建声在方向稳定性及强度方面的要求,给出适应度评价方法,通过迭代算法或启发式搜索算法不断调整参数,最终得出最优重建声像定位质量条件下的最优参数。它与其他多声道环绕声格式不同,它的传输通道不携带扬声器信号。相反,它们包含一个与扬声器无关的声场表示形式,然后将其解码为听众的扬声器配置。这个额外的步骤使工作者根据声源方向而不是扬声器的位置进行思考,并为听众在播放时所用的扬声器的布局和数量上提供了极大的灵活性。
这项技术最大的特点,是在于它最少只需要四条声轨,X、Y、Z 和 W ( W 是一条无指向性全方位录音),就可以重现 3D 声效,比 5.1 环绕声还少。因此该制式在 360 影片及 VR 中很常见。而且因为他的录音是全方位的,他可以清楚记录所有在空间中漫射的声音(Diffuse sound)。也就是说,它可以记录来自四方八面的回响。例如在空旷的会堂中说话,有时候会听到回音,那些回音有时会从四方八面传来,用 Ambisonics 就能够准确地记录那些回音。
Ambisonic声重放技术目前的重要应用方向是什么?
自2012年虚拟现实(Virtual Reality,VR)电影首次在圣丹斯电影节亮相以来,其新颖的观影模式和精彩纷呈的感官体验,使之无论在技术实现还是艺术展现方面都获得了广泛的关注。之后短短几年间,随着VR设备产品、内容产业和技术支撑日渐成熟,整个VR行业都进入了爆发成长期。
而在VR体验过程中,仅仅使参与者沉浸在视觉效果中是远远不够的。如果没有伴随的空间音频设计,那么这种幻觉很容易被打破,并且很难提示参与者应该朝着哪个方向去移动。从技术上说,可以将其归结为空间音频设计。而这种Ambisonics 技术方法恰好可以应用于其中。
自从Google和其他制造商采用Ambisonics作为VR(虚拟现实)的首选格式以来,它就引起了人们的极大兴趣。
Google在2017年推出了3D空间音效软件开发套件(software development kit,SDK),名叫Resonance Audio。它是一款以Google VR Audio为基础的套件,可以支持Unity、Unreal、FMOD、Wwise、Web、Digital Audio Workstation (DAW) 、Android和iOS等平台。但是运算资源的消耗问题成为了该套件的重要挑战。因此,该套件采用高阶Ambisonics(High Order Ambisonics, HOA)方法可以直接的解决在不损失音质的情况下同时处理多个音源。
Google开发的SDK宣传图从传统的“观看”电影到通过VR技术“进入”电影,电影声音内容从原来的矩形空间扩展到了一个球,并且观众能够自主的选择观看的方向,由此带来的声画体验的变化是非常明显的==。观众可以听到来自各个方向的声音,并且声音能实时地跟随视线方向而变化,这就和==现实世界中人们对声音的感知一样,能够动态地判断声音的方位、强弱和移动等特征和行为。
以5.1、7.1为代表的基于音箱/声道的多声道环绕声技术是传统电影实现空间声的主流技术。其在数十年的发展过程中,一直致力于通过不断增加声道数的方式,追求与理想声场近似的空间感知。但是这种空间声技术在VR电影中的局限性也是非常明显的。对于空间声技术的其他研究,如基于扬声器阵列的声场重现技术——波场合成技术(Wave Field Synthesis,WFS)能够产生真实、自然的空间听觉效果,聆听区域也比较宽,但重放系统非常复杂,考虑其声学建设投人、重放环境和制式兼容、实现难度等因素,在VR技术发展的现阶段,无法很快地适用。
Ambisonics示意图Ambisonics 在VR电影声音制作中就有了自身的优势:首先是在声音的拾取和重放上能够包含来自各个方向的声音信息,在声场还原方面更为精确;其次是能够以一种确定的音频文件格式保存和交换这些声音信息;最后是能够根据实际情况,通过对音频文件的进一步计算处理,实现多种形式的输出重放。
下面将介绍两种利用了一阶Ambisonics 设计的四面体麦克风。
AMBEO VR MIC2018年,Sennheiser(森海塞尔)发行了其VR麦克风——AMBEO VR MIC。
AMBEO VR话筒专门设计用于空间音频录音使用。其内部采用了4枚严格匹配的KE14话筒极头,并以四面体方式排列,从而符合Ambisonic制式。它使用时简单方便,从空间一点来拾取环绕声。可以获得该点全部的球型环境声场,用来匹配VR视频。
AMBEO VR MIC细节图在2018年10月,Zoom(微距)公司也发行了可用于录制Ambisonics的麦克风——ZOOM H3-VR。
ZOOM H3-VR MIC过去,捕获VR音频需要专用的Ambisonic麦克风,单独的录音机和计算机,用于将音频从原始Ambisonics A格式编码为VR就绪的Ambisonics B格式。现在借助H3-VR,所有编码和解码都可以在板上完成,从而节省了每一步的时间。
总的来说,Ambisonics 技术优势鲜明:Ambisonics理论完整,涵盖了基于声场的物理编码、记录、后期制作、传输和再现。Ambisonics与5.1或7.1等传统通道没有任何关系,而是基于声场的物理原理。它与基于对象的方法(例如WFS)需要几百上千的扬声器相比,Ambisonics具有固定的数量很少的通道,提供了高品质的聆听体验,声场沉浸体验更好。
未来,希望随着Ambisonics等相关技术的进步,使我们每个人在特定地点都能拥有侦探林默那般的“金耳朵”,做到真正的“声临其境”。
人人拥有“金耳朵”免责声明:本文旨在传递更多知识和信息,如涉及侵权,请联系下方邮箱,我们将及时进行修改或删除。转载请注明出处,转载授权请联系下方邮箱。
- End -
21dB是中国科学院声学研究所苏州产业化基地旗下科技媒体,专注于声学新技术、 音频测试与分析、声学市场调研、声学学习社群建设等。
我们传递知识:矫正声学群体易有的错误认知,普及声学领域的实用技能;
我们聚焦前沿:窥探新技术如何突破瓶颈、石破天惊,指南未来道路如何筚路蓝缕、柳暗花明;
我们挖掘思想:交流相关话题,解说发展现状,剖析行业日常,探讨政策推进……我们被声学人选择,我们为声学人发声。
这里有知识的饕餮, 有充盈的灵魂, 有你想要的一面。如果你和我们一样,有对声学的兴趣和热爱,有对前沿讯息的敏锐触角,有对技术原理的深入挖掘,那么欢迎加入我们。
如果你需要:
A: 声学类稿件投稿
B: 声学项目合作
C: 创业支持
请发送相应需求和名片至 21db@ioasonic.com. 我们将安排专人与您联系。