最新资讯风向标

Facebook研发DeepFoveaAI辅助算法将应用在下一代VR头显

2020-11-13 09:35 作者: 来源: 本站 浏览: 12次 字号:

摘要:       凹入式渲染解决了VR头显日益增长的挑战,提供了清晰的细节。现在,Facebook Reality Labs的工程师提出了DeepFovea,这是AI辅助的替代方法,它可以创建“合理的外围视频”,而不是实际渲染准确的外围图像。这一新过程被称为“凹入...

  

   凹入式渲染解决了VR头显日益增长的挑战,提供了清晰的细节。现在,Facebook Reality Labs的工程师提出了DeepFovea,这是AI辅助的替代方法,它可以创建“合理的外围视频”,而不是实际渲染准确的外围图像。这一新过程被称为“凹入式重构”,Facebook表示,它对RGB视频实现了14倍以上的压缩,而质量没有下降。

   捕获视频流时,DeepFovea仅在每个视频帧中采样10%的像素,主要但不仅仅集中在用户眼睛聚焦的区域。相比之下,仅通过散点采样外围区域,这些散点距眼睛的焦点区域越来越远。该系统使用经过训练的生成对抗神经网络,从微小样本中重建每个帧,同时依靠流的时间和空间内容以稳定而非抖动的方式填充细节。

   如上图所示,从帧到帧,未完全采样的蜥蜴头基本上是无法区分的,而“重构”图像中的相邻树皮不如“参考”像素那么清晰或细腻。传统的凹版渲染系统会将这些像素描绘为低分辨率的平面阴影块,而DeepFovea保留更多的原始形状和颜色。

   DeepFovea之所以重要,是因为与标准的中心渲染相比,它提供了电源效率和图像质量的出色组合。Facebook声称,渲染降低了14倍,这意味着它将能够向依赖于凝视检测的显示器提供实时,低延迟的视频,这是构建轻巧的VR和AR头显的必要步骤,该头显将显示高分辨率图形最初呈现在云端。

   Facebook的迈克尔·阿布拉什(Michael Abrash)去年在Oculus Connect 5上首次暗示了DeepFovea的概念,并暗示在未来将基于深度学习眼动追踪结合在一起,以实现更高分辨率的VR头显,例如Half Dome原型。

   Facebook不仅在下一代头显上使用DeepFovea,还为研究人员,VR工程师和图形工程师发布了网络体系结构的示例版本。