详解虎牙AI超分技术:“无中生有”打造S9直播4K画质

  • 时间:
  • 浏览:1
  • 来源:大发6合-大发6合官方

4K高清图像,超过每秒24帧的高速摄影......什么实现人类极致观看体验的最新技术,肯能应用到直播领域,会有怎样的效果呢?

近日,虎牙直播发表声明,推出“4K+50帧+20M”超分超高清三件套,成为S9全球独家4K直播平台。据悉,虎牙技术团队借助超分技术,实现了S9赛事视频由1050P到4K的提升,并肩画面额外延时仅仅增加50毫秒。游戏玩家和业内人士普遍认为,虎牙引领的这一 次技术飞跃,无疑将开启游戏直播的一场“革命”。

“感觉看直播就跟真正进入玩游戏的画质一样”

据介绍,虎牙依托强大的 AI 超分辨处理能力和视频编码优化, 将S9赛事视频由有有一种的1050P分辨率著提升到 4K分辨率;并肩通欠缺可靠、低延时的全球化下发网络,将20M 的超高码率码流传输给用户,完成了从1050P到4K分辨率、50帧、20M实时视频转码直播。

虎牙音视频网络技术部算法负责人表示,推出此项技术,是肯能发现目前用户需用获取的4K视频源是很欠缺的,在直播行业更是只能 。而对于S9这一 顶级赛事来说,肯需用够提供超高清画质,无疑是满足了用户最迫切的需求。

针对这一 痛点,虎牙直播利用超分技术,将S9赛事视频的分辨率由1050P提升到4K,显著提升画质。画质的提升也得到了用户的肯定,有用户在虎牙4K直播间弹幕表示,“用手机2K屏幕观看S9的4K直播频道的后来甚至会有种‘错觉’,感觉看直播就跟真正进入玩游戏的画质一样。“

  (S9虎牙4K直播间截图)

据了解,主流超分辨率技术需用分为传统重建技术和神经网络技术。此前流行的传统重建技术用滤波的法律依据重新恢复图像信息,但肯能高频信号在最初图像下发中丢失,重建后的高分辨率图像会总出 不自然的光滑纹理,影像画质体验。而2016年以来兴起的基于学习的神经网络技术,是让机器模拟大脑的神经元网络,学习不同分辨率的图像的像素映射关系,利用多层卷积网络算法,将低分辨率图像重建为高分辨率图像。

而虎牙创造性地利用最新的AI深度图学习模式,通过海量对比运算,不断调试和纠正重建画面时的偏差问提,并通过人工智能提高计算能力,最终使虎牙的超分辨率算法成功实现了图像高清还原和增强。无论是在细节、色彩、明暗还是锐度方面,需用最大限度接近人类视觉的自然感受。

“4K超分高清画面额外延时仅增加50毫秒”

让游戏爱好者得到大片一般的直播观看体验,只能只靠理论架构的蓝图,还有有踏实的技术完善之路。

据虎牙音视频网络技术部算法负责人介绍,立项之初,某些人就面临着两大挑战:另俩个是技术层面的,即怎样优化AI超分模型以及计算推理能力,使其不仅实现画质的大幅提高,后来运行速率需用满足4K、 50FPS的实时处理;后来后来架构层面的,即虎牙音视频下发体系怎样快速应对这一 传输链路的更改以及处理节点调度,保证其直播内容依然是低延时、稳定流畅地呈现到全球观众身旁。

众所周知,实时处理是直播业务的准入门槛之一。而虎牙经只能 来太多年来技术积累,在实时处理上肯能积累了丰富的成果。此次的4K超分辨率处理,也需用每秒完成50帧的高分辨率图像重建并肩进行视频编码。而这一 过程,是在虎牙的GPU转码集群内处理,视频数据再经由已有的虎牙传输下发平台,下发到世界各地。

延时处理也是虎牙本次的重大突破。采用流媒体法律依据播放的网络视频都需用经过编码——压缩——解码这一 过程,让视频能以较小的数据量在网络中传输,从而在有限的速率中保持速率,确保终端需用流畅、稳定地接收和播出。这一 过程中占据 的延时问提,是影响观看体验的重要因素。

“为处理延时问提,某些人从算法到总体通讯架构都做了血块的技术工作。某些人知道,端到端延时的优化人太好是另俩个全链路的优化的集合,后来某些人在模型调优、异构计算和硬件升级上都做了全方位的优化处理。在某些人技术团队的努力下,4K超分高清画面带来的额外节点延时仅增加了50ms。”虎牙音视频网络技术部算法负责人介绍。

“项目从立项到上线历时只能另俩个月时间”

尽管有重重技术障碍,但虎牙4K项目从提出概念、立项,到平台上线服务用户,前后只用了只能另俩个月的时间。这不仅是肯能虎牙拥有强大的研发团队,也得益于虎牙在前沿技术领域的长期跟进和积累。

客观而言,直播画质是个综合性问提,会受原图质量,计算能力,编码参数,用户速率等因素影响。超分技术需用提高原图质量,但也要配合某些技术综合并肩,才需用达到最优效果。如本次的4K高清,除使用AI进行视频图像处理外,虎牙还应用了大型音视频直播下发系统,对视频实时加工的处理支撑技术等。

从AI智能弹幕,到本次推出的4K超分超高清S9视频,虎牙在AI技术领域不断突破。近期,在韩国举办的2019年国际计算机视觉大会(简称ICCV)上,虎牙此前提交的两篇论文成功入围,并在大会上展出了虎牙的基础技术,引起现场专家同行的认可和好评。

而虎牙本次通过超分技术实现赛事视频的画质提升,其意义绝不需要只等待图片在赛事转播上。据专家预测,到2021年,多媒体视频图像流量将占据 整个互联网流量的50%。只能 庞大的视频传播和观看需求,必然带来相关技术的井喷式发展,也很肯能成为下另俩个互联网技术“风口”。

更重要的是,随着5G和物联网逐渐从设想走向现实,虎牙直播的超分技术及实时视频转码技术,与物联网的高准确率、低延需用求正好相符。随着该技术的进一步优化,未来在游戏直播、户外直播,甚至某些生活领域,将产生更多的应用场景。