互联网

声网多倍超分:助力IoT平台增强视频通话画质 降低传输成本

来源:互联网    作者:      2022年08月24日 14:43

导语:

随着5G、云计算大数据等新兴技术逐渐成熟,IoT产业发展驶入快车道,基于IoT平台的实时互动技术的重要性也日益凸显。

实时互动技术为IoT产业带来便捷性的同时,也同样带来了挑战。由于智能硬件终端对音视频SDK的功耗要求非常高,一旦视频通话的视频传输太占功耗,就会造成硬件的续航时间下降,发烫发热等。

对此,声网人工智能算法团队经过持续的技术钻研,正式推出了业内首个基于移动端实时处理的多倍超分算法,该算法的优势是成本低、功耗小,不需要部署 GPU 服务器,仅依靠移动端设备自身的 CPU、GPU 或 NPU 来实时超分,以较小的算法计算量实现视频分辨率的多倍超分,有效增强了视频的画质,并降低视频传输的成本。

声网多倍超分算法非常适用于IoT平台的实时互动场景,可以在不增加功耗的情况下实现硬件设备视频通话的画质增强,例如声网多倍超分可以将硬件设备端的720p视频以360p进行采集,并通过360p进行传输,在接收端将接收到的360p视频增强到720p,不仅保证了智能硬件终端的视频画质,还降低了SDK功耗,增加了硬件的续航时间。

声网多倍超分作为业内首个支持移动端实时处理的实时超分算法,拥有三大核心优势:

移动端最高支持3倍实时超分:声网多倍超分算法可以做到在移动端实时处理,支持2倍与 3倍超分,例如360p两倍超分720p,240p 3倍超分 720p,360p 3倍超分 1080p,并且经过测试,与行业其他超分算法相比,在同等计算量的条件下,声网的实时超分效果与画质表现更胜一筹。

覆盖机型广,中低端机型也能实时处理:声网多倍超分算法在移动端的机型覆盖非常广,iOS 可覆盖 iPhone6s 及以上机型,能够覆盖 95% 以上的 iOS 视频用户;Android 覆盖所有中高端机以及部分低端机,能够覆盖 85% 以上的安卓用户。

CPU 消耗、SDK 内存消耗低:声网多倍超分算法对移动端设备的性能消耗占比极低,有着出色的能耗表现,例如在移动端 360p 超分至 720p,超分的模型跑在设备的 GPU上,几乎不会增加 CPU 消耗,单帧处理耗时平均在 10ms 以内。在 1 对 1 视频通话场景中,360p/15fps 的视频开启 2 倍或 3 倍超分后,SDK 的内存消耗只增加 10% 左右。

声网凭借移动端最高支持3倍实时超分、 覆盖机型广,中低端机型也能实时处理、CPU 消耗、SDK 内存消耗低三大优势,声网在实际场景应用中也游刃有余。除了在IOT实时互动场景中的应用外,声网多倍超分算法还在带宽受限的实时互动场景、视频首帧出图清晰等场景应用中发挥着独有的优势。

不得不承认,随着移动端对视频画质要求的不断增长,未来基于移动端的超分技术的应用也将越来越广。


(文章为作者独立观点,不代表艾瑞网立场)
  • 合作伙伴

  • 官方微信
    官方微信

    新浪微博
    邮件订阅
    第一时间获取最新行业数据、研究成果、产业报告、活动峰会等信息。
     关于艾瑞| 业务体系| 加入艾瑞| 服务声明| 信息反馈| 联系我们| 合作伙伴| 友情链接

Copyright© 沪公网安备 31010402000581号沪ICP备15021772号-10

扫一扫,或长按识别二维码

关注艾瑞网官方微信公众号