位置:编程技术网 > 编程语言 > 正文 >

金山云樊鸿飞:集智高清+AV1云转码,唤醒5G时代超高清应用

2019年11月09日 00:11来源:未知手机版

冰室礼二,域名信息查询,gpu温度

本次,金山云樊鸿飞接受了LiveVideoStack的采访。作为金山云的算法架构师,樊鸿飞主要负责金山云视频编解码、集智高清、图像增强、图像压缩等产品的研发,在采访中樊博士回顾了自己多年技术研究的心得,也针对AV1当前的生态发表了自己的看法,对于即将到来的5G时代,我们有理由相信金山云已经做好的充足的准备。

LiveVideoStack:樊鸿飞你好,感谢接受LiveVideoStack的采访,能否向LiveVideoStack的读者简单介绍下自己。

樊鸿飞:你好,我目前在金山云担任算法架构师,是视频云部门的视频编解码以及AI算法负责人,涉及的方向主要包括视频编码、计算机视觉、图像处理、图像压缩。我博士毕业于北京大学信息科学技术学院,本科毕业于上海交通大学软件学院。我在博士期间的研究方向主要是视频编码、计算机视觉以及特征编码。

LiveVideoStack:从你的个人经历来看,近年来主要从事视频编码、图像处理、计算机视觉方向上的研究,从技术发展的角度来看有没有令你印象深刻的事情?

樊鸿飞:我印象比较深刻的是,做技术研究需要结合当前阶段的实际情况考虑。从一个细节来举例,随着网络带宽的变化,云转码的码控策略是在发生变化的。在弱网环境下,最需要解决的是QoS的卡顿率高的问题,不是网络传输成本。此时云转码经常使用cbr码控策略。然而,这种策略无论是在实践中,或是在paper里,都很难达到定QP的编码水准,特别是在包含复杂场景切换的时候。

随着网络带宽的增长,卡顿率已经比较低,转码后成本已经变得更加重要了,这种情况下,最常见的云转码使用的是crf码控策略,这种策略实现起来非常简单,并且rd性能往往优于cbr很多。不过,cbr也并非没有研究意义,相反在RTC的会议通信里仍有很大的研究价值,只是在云转码场景中用的不多了。因此,技术的研究需要考虑整个时代技术的发展,想明白真正的使用场景,盲目的进行优化有可能会走弯路。

LiveVideoStack:说说目前你在金山云负责的工作和研究方向吧。

樊鸿飞:目前主要是负责两部分,一个是视频云转码,一个是AI算法。云转码方面主要是编解码器优化,目前我们除了在做H.264、H.265的持续优化以外,也开始进军AV1。我们认为AV1是更好的4K/8K视频编码解决方案,是对5G时代进行的探索。

AI算法方面,关心过金山云的朋友们应该或多或少听说过我们的集智高清产品。集智高清主要是利用AI对视频进行分析,解决了三大传统云转码算法解决不了的难题:1)低清视频恢复问题;2)码率分辨率智能决策问题;3)编码器全局优化问题。除了集智高清之外,我们也在做基于AI的有参考评价指标,在这方面金山云有很长时间的积累,对内使用时表现的不错,未来可能会公开我们的算法,大家可以期待一下。其他的应用还有视频标签、智能封面、精彩集锦、去水印、智能审核等。

LiveVideoStack:金山云的集智高清产品目前在行业中属于什么水平?集智高清适合于哪些场景的落地?能给金山云云转码带来了哪些用户体验的提升?

樊鸿飞:目前金山云的集智高清产品处于行业领先的水平,在UGC短视频场景下可以做到行业领先。在刚才的问题里也提及了,传统编码器做云转码存在三个问题,利用AI+编码技术可以为所有的转码场景提供更高的压缩率。我们所推出的集智高清产品可以适用于绝大部分视频场景,包括秀场、电影、监控、教育、综艺、体育等等。另外,由于低清视频转码提升很明显,所以最大增益的场景还是低清的UGC短视频,这也是目前使用集智高清服务数量最多的用户场景。

对于使用集智高清的用户来说,根据我们测试的结果,首先因为码率的降低,在点播和直播的QoS上有很大的提升,包括首帧、卡顿率、卡顿时间等;其次在主观上存在增益,一方面块级智能决策可以很好地避免块效应,减少低清视频比率,降低产生用户反感的块效应的可能性,另一方面利用AI的修复能力能够有效避免第一次编码可能造成的压缩噪声,同时也可以对人脸等关键区域进行修复,去除运动模糊,还能够利用帧间信息修复因对焦失真产生的模糊。

本文地址:http://www.reviewcode.cn/bianchengyuyan/92618.html 转载请注明出处!

今日热点资讯