AI相机的破与立:真AI相机标准问世
“忽如一夜春风来,万千领域皆AI”。回顾AI在手机端的应用,最突出的是AI拍照。据2018年一份手机调查报告显示,在31个受关注度超过500万的手机功能中,AI功能占据8席,其中5个是摄影类的AI功能。
首先,手机拍照足够便捷,让大众随时随地拍摄自己喜欢的照片。
再次,大众不断追求成像质量,AI技术成为手机终端功能同质化问题的破局点之一。在AI技术+手机拍照后,终端厂商也在大力宣传自己产品的AI拍照功能。
众多AI拍照功能中,有的强调补光,有的强调镜头,有的强调AI能力,到底消费者要如何鉴别手机的拍照能力及AI能力?有没有一个参考标准来判定真AI相机呢?
三大标准鉴别真AI相机,别让花式宣传冲昏头
芯片巨头联发科近日提出了“真AI相机”的标准,表示要通过对手机的底层技术进行分解要求,来衡量其AI相机的功能优劣,从而初步判断某个手机是否是真AI相机。判定的三个纬度如下:
1.Sensor像素尺寸≥1.55μm
Sensor指的是摄像头传感器的单个像素尺寸。Sensor值越大时,夜拍时照片的细节越多,噪点越少,曝光需求时间越短,反应速度更快,而日常拍照颜色信息和细节则更丰富,理论色彩还原能力越强。AI在与这类硬件进行配合时的工作将主要集中在进一步强化效果上,比如进一步缩短抓拍时的曝光时间,降低暗光拍摄的影像噪点,强化夜拍成像效果。
反之,Sensor值越小时,AI的工作将主要集中在弥补感光能力的劣势上,比如合成降噪,强化暗部和弱光细节,缩短夜拍反应时间,增强夜拍成像细节,降低拍摄操作难度,提升反应速度等。
整体而言,AI技术可以“人性化”的自动调整拍照参数。Sensor值大时,AI锦上添花,强化高端感光硬件带来的基础效果,使照片更加出色。Sensor值小时,AI堪称雪中送炭,弥补低成本感光硬件的性能劣势,让照片的表现达到更高级感光硬件能做到的标准。
传统手机的Sensor尺寸一般在1.4 μm以下,但近两年我们看到手机相机在追求像素、镜头数量的同时,传感器“大底”的趋势越来越明显。2018年已有多款旗舰手机采用1.55μm甚至更大尺寸的sensor,2019年将有更多传感器像素尺寸≥1.55μm的手机相机出现,而这理应成为“真AI相机”的一个基础标准。目前市场上符合这一标准的传感器有MIX586、MIX378、MIX380等。
2.AI性能跑分≥21000分
在多样的应用需求下,强大的AI性能才能实现多样的手机功能。目前的AI跑分比较有参考价值的软件是由苏黎世联邦理工学院研发的,用于评估手机处理器AI性能跑分的AI Benchmark。AI-Benchmark测试的是通过不同的智能手机在运行相同的AI运算时,因为硬件和软件的差异所最终体现出的速度快慢差别。因此,具备对浮点、整数两种AI模型的全面加速支持能力的芯片表现则异常出色。
从现有的AI性能跑分来看,21000分是一个较为明显的分水岭。高通骁龙855、联发科Helio P90、华为麒麟980均入围,三家芯片巨头的旗舰产品均能达到21000分以上。以AI算力和算法的迅猛发展之势,2019年定会有更多芯片入围并突破最高分。此外,AI专核可以解决边缘AI算力的困境 ,用低功耗带来更高的AI性能,因此,有无AI专核也是衡量AI性能的一个重要因素。
3.Imagiq ISP
ISP是手机芯片中负责图像信号处理的单元,对图像进行降噪、色彩补偿、效果优化等。
手机的ISP一般会集成在芯片处理器中,芯片级ISP的优点是性能稳定、功耗可以得到良好的控制。当下,手机的摄像像素越来越高,抓拍、夜拍、高清、甚至4K摄像,手机对ISP的处理性能要求越来越高。而AI技术的加入,可以让ISP性能提升更加明显,不仅可以大幅度提升手机相机的响应速度,更能够实现人脸识别与自动场景识别等复杂功能。
以联发科的产品为例,Imagiq图像信号处理器是联发科自研的ISP技术,在Helio P60上已经采用了三核ISP,可以通过硬件侦测人脸、实现更复杂的降噪处理、全像素多核对焦、通过硬件实时提供景深信息等。而现在,联发科Helio P90支持三核ISP同时开启,ISP性能更强,处理图像的能力也就更强。
综上所述, CMOS像素传感器+AI专核性能+芯片层的ISP技术,这三个维度的硬件技术要求可确保AI相机的功能性和成像表现,只有全部达到才可称之为“真AI相机”。 目前来看,能够同时达到这三项标准的智能手机,也只有搭载了联发科技Helio P90、海思麒麟980、骁龙855的屈指可数的几款旗舰机。但在2019年,我们会看到有更多的手机是“真AI相机”,普惠广大消费者。
瞄准传统拍照体验痛点,AI相机颠覆拍照体验
说到手机拍照的痛点,很多人一定有过这样的经历,抓拍孩子笑脸咔嚓了很多张挑不出清晰的,晚上暗光环境拍完放大以后不仅看不到细节还看到一堆噪点……普通用户通常会把这些问题归咎于手机像素不够、镜头不好、手机不好、自己拍摄技术太差等原因上。现在“真AI相机”可以简单高效的解决这些问题。
以联发科Helio P90芯片为例,搭载该芯片的手机通过强大的AI算力,结合AI算法,可以解决手机拍照、视频等场景下的多种拍照问题,例如:在夜晚和暗光拍摄时画面亮度偏暗、噪点过大、动态范围不佳等画质问题,通过人工智能学习高画质数码相机的成像特性,还原景物原有的细节纹理并移出噪点,使画面品质得到整体提升;还可以在手机捕捉动态影像时,解决拖影、物体成像模糊、细节不清晰等问题;在视频时提升画面焦点清晰度,改善视频通讯画质等。
真AI相机功能实拍,成像效果对比一目了然
基于联发科Helio P90等具备强大AI能力的移动平台的推出,“真AI相机”已经实现多种实用的和创新的应用功能,改善手机相机的传统拍照体验。
以联发科Helio P90为例,它具备丰富的“真AI相机”功能:
1、AI抓拍:AI动态人像降噪技术,通过AI噪点训练、14-bit高动态范围ISP和AI多帧降噪处理,解决了手机抓拍拖影、成像模糊等问题;
真AI相机在抓拍时能优化去噪算法和参数,在缩短曝光时间达到3毫秒水准的同时,最大限度保留了画质的纯净,不会出现相片残影、噪点密布的情况。
2、AI夜拍:AI影像噪点消除技术,保留暗光下的细节,媲美人眼再现真实。
在夜拍时采用多帧降噪技术,针对不同的摄像头传感器在低光下的成像特征和噪声分布进行优化,并结合平台ISP特性优化去噪算法和参数,再进行多帧对齐的智能合成算法,生成高亮度、低噪点、真色彩、保留最佳细节的结果图,画质上达到类似传统相机ISO降2-3档的效果。
3、 AI视频景深:AI边缘精准辨别,背景虚化智能锁焦,实时高画质背景虚化视频。
依托联发科技强大的AI算力,结合AI算法,真AI相机可以实现高达1080P分辨率下30FPS的AI视频实时景深功能。在图像的处理上,优化拍摄主体的边缘细节,达到完美分割背景与主体的功效,甚至能让3000元价位的手机得到万元单反镜头的效果。
4、AI焦点直播:AI智能焦点区域侦测技术,实现重点区域编码,提升视频码率和压缩质量,直播画面时时清晰。
直播过程中,真AI相机凭借AI边缘计算,调动底层硬件并结合算法,从而达到在网络带宽有限的条件下,实现重点区域编码,优化直播主体特征,呈现更清晰的细节。焦点直播功能在虎牙、斗鱼、YY直播平台都有明显的画面改善功效。使用手机进行视频通话时,在网络带宽信号不佳的地方也有同样的效果。
5、AI人像留色:AI加速、浮点定点运算技术,实时人像留色,拍照视频都是C位主角。
(GIF图:AI人像留色效果,稳定不掉帧)
6、AI美体:AI算法深度合作,减肥、长腿、提臀、收腰等多种功能实时美体。
7、AI人脸侦测:AI人脸识别技术,快速侦测反应,准确判断位置、角度、性别等信息。
(GIF图:AI人脸侦测速度对比、快速准确、适用于各种场合)
8、AI人体姿态识别追踪:强劲的AI算力结合算法,精准识别多人快速移动姿态,可结合AR场景,实现创新的人机互动应用。
( Gif图:AI人体姿态追踪效果,多人实时识别且具有精准度)
9、AI识物:对多件物体同时进行快速、精准的识别与追踪,轻松实现低延时、低带宽的边缘AI智能识物。
技术与功能紧密结合才是王道,“真AI相机”将带来颠覆体验
相机作为智能手机的基本功能点,在很长的一段时间里进入了比拼像素、软件优化、镜头堆叠等白热化竞争,并没有深入的从用户拍照体验上进行根本改善,AI人工智能的出现,将从底层对拍照功能进行优化提升。从“传统拍照”到“真AI相机”的升级,不仅是基于产品本身的升级,更降低了手机摄影的门槛,可以让用户在更多场景享受拍摄乐趣。
“AI相机”作为一个并不算新的概念,在过去很长时间里,更像一个“营销噱头”;而现在,“真AI相机”从最底层进行的人工智能升级,是科技转化成为成果的重要体现,其有望颠覆手机相机的用户体验,重新定义手机的“新高端”。
从目前手机芯片市场来看,芯片巨头联发科在去年12月份发布的Helio P90是完全符合“真AI相机”标准的,不仅提升了AI性能,还将用户体验放在首位,真正落地丰富的应用功能,带给用户更多颠覆性的创新体验,凭借HelioP90悄然开启了新高端的布局和转型。
文/刘旷公众号,ID:liukuang110