用人工智能技术拍摄MV,李宇春和英特尔做了一次尝试
前不久,英特尔联合李宇春工作室在成都发布了号称全球首支人工智能的MV——《今天雨,可是我们在一起》。在这个人工智能概念遍地开花的时代,直接将其用作MV的宣传口号还从未见过,那么这部MV到底神奇在哪里呢?
俗话说外行看热闹,内行看门道,咱先看一遍MV再来聊聊这当中用到的黑科技!
李宇春这首歌的主题有一个重要的元素就是“雨”,而目的则是是为了表达对歌迷在雨中听演唱会的感激和爱,MV的呈现效果让人惊叹之处就在于它对人物面部的刻画非常立体、真实,这可不仅是高清摄像机拍摄出来的,而是拍摄后将人的表情通过表情捕捉技术和后期渲染实现。
在该MV中,为了将李宇春歌曲的寓意创新表达,导演选用了不同的情绪场景去展现李宇春的内心世界。通过英特尔3D人脸面部表情捕捉技术和后期渲染,这些情绪场景以特效的形式完美的贴合在李宇春的面部。
据悉这部MV作品历时6个月,制作过程采用了英特尔3D人脸面部表情捕捉技术。该技术实现了视频中李宇春人脸的自动检测与识别,精准重建3D人脸,并实时跟踪面部表情变化,将预先设计好的特效素材附着在3D人脸上,重新渲染到MV视频中,从而达到令人惊讶的脸部特效。
此外,通过英特尔3D人脸面部表情捕捉技术实时重建的3D人脸模型,任何3D特效公司都可以对其制作特效,任何新颖的、逼真的效果都可以完美的贴合在人脸上。相比传统形式,更节省时间和成本。
借助英特尔3D人脸面部表情捕捉技术,音乐的表达方式再一次突破了想象的疆界。这首MV成为了科技赋能音乐和娱乐的又一项创新范例,创造了一种全新的科技X音乐形式,更好地去呈现音乐内容和创作者的思想。
其实早在2016年第58届格莱美颁奖典礼上,英特尔也展示过类似的技术,当时Lady Gaga在向自己的偶像David Bowie致敬表演中,应用了诸多让人惊奇的黑科技,其中最吸引人的就是脸部3D投影技术。
演出一开始,借助英特尔的实感技术和脸部3D投影技术,Lady Gaga的脸上出现了变化莫测的华丽妆容,起初仿佛岩浆流淌而过,后来随着妆容的不断变化出现闪电。David Bowie实时投影在Lady Gaga的脸上,接着一只逼真的蜘蛛突然从左眼爬到右眼,缓慢划过脸颊,最终在额头处化成魔洞,这一系列惊人的光效虽然持续的时间不是很长,但是看上去却无比真实,和富有冲击性。
英特尔3D人脸面部表情捕捉技术用到了人工智能最重要的分支:机器学习和深度学习。
英特尔的技术工程师从数十万的人脸图片数据中,训练出的人脸识别模型,用于对视频图像进行智能分析:自动捕捉人脸区域,定位人脸关键特征点(如眼睛,鼻尖,嘴唇,眉毛,脸颊轮廓点等),生成人脸部件的边缘轮廓线(嘴唇线,眼睛线,眉毛线,面颊轮廓等);再从数百个三维人脸扫描数据中训练出一个参数化的三维人脸形变模型,用于模拟任何人的相貌脸型以及表情变化;最后通过数万张人脸照片,学习从2D图像到3D人脸的映射关系,确保从2D照片到3D人脸的精准转换,从而达到实时3D人脸建模的效果。
这项技术其实还有一个非常厉害的地方,它能够节约不少的拍摄时间和工序。未来,英特尔甚至可以将该技术应用在全身3D建模上,从而实现实时虚拟换衣等更多具有想象力的应用。