最新资讯风向标

短+AR,为内容创作者激活更多新玩法

2021-01-08 09:27 作者: 来源: 本站 浏览: 17次 字号:

摘要:    “AI 工业化,加速产业智能”!    8月29日,“ABC SUMMIT 2019”百度云智峰会在京如期举行。百度智能云带着18大智能计算新品、7大场景解决方案全新升级,与在场数千位企业主、合作伙伴以及开发者们共同见证了这场席卷而来的智能革命浪潮。  ...

   “AI 工业化,加速产业智能”!

   8月29日,“ABC SUMMIT 2019”百度云智峰会在京如期举行。百度智能云带着18大智能计算新品、7大场景解决方案全新升级,与在场数千位企业主、合作伙伴以及开发者们共同见证了这场席卷而来的智能革命浪潮。

  

   在备受关注的视频领域,百度增强现实技术部技术架构师马晓昕从技术层面全面解读了百度AR与百度智能云的强强联合为短视频创作者提供的云端赋能,为激活内容创造力带来了无限可能。

   短视频时代,每个人都是内容的生产者

   据第三方数据显示,2018年短视频行业月独立设备数已近7亿台,短视频日渐成为营销传播的通用手段和普通人记录分享的常规方式。可以说,短视频时代,每个人都能成为内容的生产者。

  

   在短视频制作方面,百度智能云构建了从基础设施、平台工具到数据传输的一整套解决方案,全能力覆盖互动拍摄、智能编辑、转码上传流程,为UGC/PGC内容创作打造了利器。而百度AR与智能云平台的能力打通,在拍摄阶段引入丰富的AR特效能力,让创作者通过叠加人机交互玩法获得更大的想象空间;对平台开发者来说,DuMix AR 5。0提供的涵盖硬件层、结合层、能力层、技术平台、内容平台和业务场景的多层次开放架构,将有助于他们进行灵活扩展,大幅提高生产效率。

   人脸肢体手势环境一体化交互

   激发内容创作新玩法

   AR技术在短视频中有哪些应用场景?从最常见的美颜滤镜,到手势控雨、肢体游戏、环境风格变换等,百度增强现实技术部技术架构师马晓昕结合不同玩法实例解析了DuMix AR 5。0人脸肢体手势环境的一体化交互的技术解决方案。

  

   据马晓昕介绍,通常在说到人脸特效能力时,大家往往关注的是能够精准定位150个2D关键点,涵盖78个骨骼的关键点,能输出3D的人脸姿态。其实在基础能力之上,对于嘴部和眼球这两个最“出戏”的部位,我们提供了更加精准的解析,以保障应用层可实现的玩法更多;另外,我们还对人脸平面进行了三角剖分,分成264个三角形;以及5210个三角形人脸立体剖分,基于这个面部网格可以制作各种2D/3D贴纸、变形或进行其他拓展。

  

   我们也预设了32个人脸的表情基和15个表情语义,包含如微笑、大笑、睁眼、闭眼等一些常见的表情。通过内置的19套塑形参数、五种基础美妆、立体的3D的妆容等更加高阶的能力,可以满足开发者对于人脸特效玩法的各种需求,如美妆美体、微整形、多人实时换脸和个性化的美颜需求,并且在应对光照变化剧烈、大角度追踪、抖动遮挡这些复杂情境都表现出很强的稳定性和鲁棒性。

   手势特效预设了8种手势语义,包含21个关键点,能够复原出3D的手掌姿态;肢体特效提供59个轮廓点/18个关节点两种输出方式,其中18个关节点识别速度,全机型测试最多不超过6。7毫秒;人像分割更是达到IOU 93。76%的高指标。

   从人体跟踪到物理世界大场景跟踪,依靠低成本的地图采集和在线融合跟踪方案,百度AR推出了VPAS视觉定位与增强服务,用户在打开时省去了扫描平面这一步骤,体验路径更加顺畅。开发者可以在真实世界中构建更加宏大的虚拟场景,我们提供的实时渲染能力对于26万面大场景在普通手机上的渲染帧率也达到了30fps。

   生态闭环+创意工具,生产力双引擎

   为了降低开发者的使用门槛,百度DuMix AR平台对一体化人机交互能力进行了封装,灵活的架构确保开发者可以自主高效地进行能力和玩法扩展。

   此外,马晓昕表示,针对不同需求的短视频内容制作者,百度DuMix AR特效开放平台也提供了两套不同的工具:具备创意技术能力的平台开发者可以应用工具插件进行内容制作,也可以通过生态合作伙伴进行定制化生产;而个人开发者则可以使用平台开放编辑器DuMix AR Studio和移动端预览工具DuMix AR Cam进行开发和实时调试。

  

   百度AR提供的创意生产工具结合百度智能云的基础架构服务,以及百度生态资源闭环,共同构建了从创意内容到AR互动体验的完整工具链,提升生产端到消费端的整体效率,有效降低生产成本,让AI/AR赋能产业、改变生活!