视频云下半场 向前走还是向“厚”走?
Photo by Thomas William on Unsplash
从2016年至今,流量的增长基本进入到了平稳期,此时,面向产业界和开发者,我们如何提供更多、更新的能力给到他们,提升平台的用户体验?本文来自腾讯云视频业务产品总监黄斌在LiveVideoStackCon 2019深圳站上的精彩分享,希望和业界一起探讨视频云下半场的方向与定位,也希望与产业界同仁一道,共建更好的大视频生态。
文 / 黄斌
整理 / LiveVideoStack
1.直播行业中的难点
腾讯云内部最早在2015年下半年开始进入视频云领域,将腾讯多年在音视频编解码、音视频通信以及海量并发业务的经验逐渐开放,当时我们也是新进者,定位是在OVP(在线视频平台),类似国外的brightcove及国内的CC视频,我们在教育、在线视频等领域进行了尝试。不过真正确定业务重点方向是在2016年,2016年也是国内的直播元年,行业的爆发让团队意识到直播的流量是非常大的,在高并发情况下如何能做到视频流畅无卡顿、并能提供丰富的IM通信、保证互动连麦等环节的正常进行,这正是我们的技术优势所在,我们抓住了直播的这个风口。
我自己将市面上的产品按照碎片消费、按需点播、实时互动和定时播放四个维度分为四个部分,右上象限这类实时性高,低制作成本的这些应用,正是这几年集中增长爆发的应用。
这些新兴应用,往往都有复杂的功能特性,对于头部企业都有强大的研发团队,有很多能力去构建上图中的要求,但对中小型企业来说,能把上述功能都做出来,并且要做好的话,面临的挑战是非常大的,其中每一个功能都需要投入一个小团队深入去做,由此带来的成本也会非常高。
上图中列举了视频云需要的基础服务、音视频计算集群、CDN加速网络,以及终端能力和社交互动系统,每个部分所需要投入的人力和时间成本,可以更直观的看出直播应用的开发所需要的大资源投入以及高技术挑战。
2.腾讯云直播方案
2.1 腾讯云互动直播方案
我们基于在QQ平台里音视频通信技术能力的积累,我们设计出了第一套腾讯云互动直播方案。
第一步,基于类RTP私有协议实现了一套多路低时延音视频系统,保证主播和连麦互动观众之间可以实现低至400ms的低延时音视频通信,放到现在也能够接近多人实时通话场景的应用;
第二步,团队借鉴了CDN的架构实现多级分发,满足单房间内百万观众都能实现低时延观看,并且可以通过重定向逻辑随时上麦,实现连麦互动场景;
第三步,为了满足H5观看,旁路转码推出一路标准流媒体协议(RTMP/FLV/HLS)的流,甚至能够录制和回放,实现既有私有RTP协议链路,也有标准流媒体协议旁路系统。
此套方案在直播方案基础上实现了很好的兼容性,因此2016年腾讯很快就拿下了泛娱乐和社交这类平台的头部客户,而此后不少直播平台也是基于类似的思路实现,而腾讯在其中提供了标准云服务。
2.2 腾讯云标准直播方案
针对中小型的社交直播需求,我们也提供一套基于标准协议的,更轻量化的直播服务流程,从推流到云端的转码、切流和混流,这些从现在的眼光看依然是非常经典的直播方案,以上就是腾讯在2016年面向直播的两套主要架构,基于这两套架构腾讯也将主流的泛娱乐直播场景都囊括在内。
3.向前走-制作域
从2018年到2019年,视频流量的增长开始进入平稳增长期,经过几年的持续增长,平台都进入到精细化运营阶段,包括用户、服务体系、成本和质量各个方面都需要做优化。与此同时,我们回到标题所提出的问题“视频云下半场,向前走还是向“厚”走?”
刚刚提到我们的产品方案在云端处理、CDN的分发和终端SDK这个链条上的方案覆盖度都已经比较完整了,而在内容供给侧或者说制作域方面,会发现随着近两年短视频的增长,内容制作工具化的诉求开始陆续体现出来,甚至逐渐演变为刚需。在做过不少分析后,最后团队还是决定落地,制作相关制作域或制作云的方案,下面我将为大家介绍团队在制作域方面的一些产品。
3.1 腾讯云剪
腾讯云剪作为云化的内容协同编辑工具,首先具备和传统编辑软件类似的基本编辑甚至复杂的编辑功能,另外在内容方面,我们整合了腾讯生态伙伴的大量的视频内容,包括电竞、体育、综艺、娱乐等,这里除了原始素材,我们也提供经AI结构化分析后的,带着标签结构化信息的素材供创作者二次加工使用;另外我们还提供特色的精彩集锦、节目拆条等特色能力。
腾讯云剪作为SaaS的产品形态提供给到创作者,同时我们也将其基础能力提炼成一个PaaS能力平台,除了最基本的视频处理、上传和导出,包括媒资管理以及复杂的转码检索能力,这两层都能够以PaaS的方式提供,有这样需求的用户或合作伙伴需要腾讯云剪的这些能力去做成自己的编辑工具,那我们就提供给伙伴PaaS平台能力。
3.2 腾讯微剪插件
除了Web端的编辑工具之外,团队还和微信一起在做小程序端的音视频编辑插件能力,需要微信小程序及客户端团队提供一组最底层的音视频合成、打包和渲染的接口,在此基础上我们利用自身的技术能力再封装出一套编辑工具插件。目前这款腾讯云联合微信小程序、腾讯音乐集团爱听卓乐公司三方共同合作研发的腾讯微剪——小程序音视频剪辑插件还在不断地打磨和完善,相信在不久之后就可以与大家见面。该插件集成了由腾讯音乐集团提供版权音乐在线曲库,基于腾讯视频云强大的音视频处理技术开发并封装完成。开发者们之后仅需在小程序插件市场申请后即可快速调用,为小程序增加强大的音视频剪辑功能。
3.3 视频云终端能力Update
在短视频制作方面,近期我们还对我们的美颜动效能力进行了全面升级,除了基础的美颜、特效贴纸之外,还增加了高级的美妆美颜、肢体识别特效、绿幕抠图和人脸融合等能力,特性及性能方面有了极大升级。
3.4 腾讯云导播台 LVC
由于腾讯云本身在云端后台有不少混流、切换的能力,团队也将这些能力包装成可视化页面,变成云导播的产品形式开放出来,这个能力在企业培训、教育、节目制作等场景都有广泛的应用。腾讯云导播台也提供API的方式去调用预监、转场等功能,面向普通用户提供完善的页面,可在页面直接进行导播操作。
3.5 传输及全链路质量监控
传输方面在音视频中也是一个比较强的场景,今年英雄联盟决赛在法国举行,编码器在现场切出的TS切片,通过我们提供的传输能力,实现了ts over SRT,将清流信号从欧洲现场从公网传回了上海及北美,对比我们发现公网传输的两条链路做到了无丢包和低延迟,传输过程中我们也提供视频传输通信质量的监控,包括码率、卡顿、帧率等指标。
4.基础编解码及平台能力
4.1 快直播——超低延迟直播方案
关于我们的WebRTC CDN产品,我们对外叫“快直播”。我们希望它会作为我们直播CDN升级的一个重要能力。WebRTC本身可以做到低于1秒的超低延迟,并且延迟可控,不会持续积累。作为实时通话标准,它有一整套应对网络波动和弱网的策略,在超低延迟的基础上,卡顿不会落后于其他高延迟流媒体方案。另外,WebRTC已经被绝大多数浏览器广泛支持,不需要安装插件就能播放;而且,WebRTC技术依然在快速演进,未来会支持AV1,SVC等;我们也在网络层与QUIC进一步结合,形成更好的传输方案;如果在带宽成本、节点资源覆盖上面持续优化,相信未来基于WebRTC的CDN将会成为直播内容分发的一个趋势。
4.2 全球部署
除了超低延迟直播方案以外,出海也是明年腾讯云发展的重点,从系统平台来看,在东南亚、中东、印度这些地区的节点流量增长还是非常快的。与国外云厂商相比,技术及产品层面来讲,国内的视频云与Akamai、AWS的产品平台还是有些差异的,国内的视频云从视频的采集推流到云端转码处理再到CDN分发,包括最后的终端播放,基本是一套相对耦合的闭环方案;而像AWS这样的云厂商,平台产品会相对解耦一些,独立的源站及转码模块、视频传输模块、CDN模块,每一个都可以独立接入服务,彼此可以不用相互依赖;从格式及协议来说,海外HLS、DASH、CMAF占主流,而国内视频云一般是RTMP上行,FLV、HLS下行为主,在这个层面来说,国内客户出海基于国内视频云团队的方案,业务接入上会相对平滑一些;
4.3 开放媒体联盟
在下一代视频边面标准方面,腾讯视频云直播、点播、媒体处理全线产品均已支持AV1标准,腾讯云也是国内首家直播+点播同时支持AV1视频处理业务的公有云厂商。在今年10月,腾讯已正式加入开放媒体联盟(Alliance for Open Media,AOMedia),推进视频AV1标准商业化,并成为董事会成员之一,也是董事会成员中迄今为止唯一的一家中国企业。腾讯多媒体实验室和腾讯云正积极推进视频AV1标准的商业应用。AV1中的极速高清转码服务,可以让用户在低码率下享受与高码率相同的画质体验。通过极速高清转码技术,直播、点播业务相比开源软件在相同画质下平均分别节省超30%+和40%+的带宽成本。或在同等带宽条件下,提供更加高清优质的视频画质体验。腾讯云一直以来都潜心深耕音视频领域,不断完善自身产品体系,并结合用户业务场景不断创新,为用户带来极速高清、画质增强、老片修复等技术产品。
5.共建开发者生态
近两年,腾讯云正积极的参与各类技术开源社区,共建开发者生态,举个例子,腾讯视频云提供了近20套各类音视频处理SDK,其中最主要的SDK对应demo的源码我们都分享在GitHub上供开发者参考,极大降低开发者的工作量及集成门槛。
综上,腾讯视频云整个产品矩阵,从最初的底层基础设施发展到音视频PaaS平台,再到目前在多个场景积极的尝试SaaS应用,从内容源端到视频云端再到播放终端,也提供了层次丰富的产品方案方案,面对不同垂直场景和行业的能力,我们又推出了多达17套的行业场景方案。我们通过整合这些技术能力、基线产品及解决方案,将其对外开放给到开发者和合作伙伴,构筑更好的大视频生态。