最新资讯风向标

Opteyes结合ARAI打造新一代科技配镜技术,将手机变成个人专属眼镜店

2021-02-02 12:54 作者: 来源: 本站 浏览: 18次 字号:

摘要:    众所周知,微软 HoloLens 这样的比较成熟的 AR 产品仍然在探索应用场景,以致于人们想起 AR,首先联想到的就是娱乐应用,比如手游精灵宝可梦 Go,短视频里的卡通换头特效,iOS 系统里的拟我表情(Emoji)。       但事实上,AR 这...

   众所周知,微软 HoloLens 这样的比较成熟的 AR 产品仍然在探索应用场景,以致于人们想起 AR,首先联想到的就是娱乐应用,比如手游精灵宝可梦 Go,短视频里的卡通换头特效,iOS 系统里的拟我表情(Emoji)。

  

   但事实上,AR 这个概念最早诞生于工业制造领域,无论是严肃性,还是应用价值都毫不逊于 AI。两者结合的产物,很可能成为未来传统行业数字化、智能化转型的关键。

   一家名为 Opteyes的中国公司,正在尝试结合AR和AI两项新兴技术,打造一套远程选配眼镜的虚拟试戴服务。

   这家公司 2019 年成立于上海,由波士顿咨询集团数字风险投资公司(BCG Digital Venture)和一家全球领先的视光学巨头共同打造。前者是知名咨询机构波士顿咨询集团(BCG)全资子公司,专门负责挖掘并发展突破性的数字化产品和平台。

   所谓突破性,就是在传统行业模式中找到突破口。对于 Opteyes 来说,他们希望借助在眼镜行业,尤其是眼镜挑选和试戴环节,引入 AR 和 AI 技术,推动行业数字化转型。

   AR 和 AI 强强联合,打造逼真的虚拟试戴

   在互联网思维普及的今天,眼镜行业仍然依赖于线下零售,配镜流程十分传统。

   如果你戴眼镜,不妨想想上次配眼镜的经历。面对成百上千副镜架,再雷厉风行的人都可能被逼出选择困难症。而且有的镜架看着好看,但戴起来不一定合适,于是就要不停的摘、戴眼镜,整个过程繁琐且充满随机性。

   一番周折选好眼镜后,又要面对验光和配镜的漫长等待。不知不觉,一天时间就过去了。对于许多上班族来说,难以在快节奏的现代社会中兼顾视力健康和时间成本。

   想要在电商上远程选镜,又有许多无法解决的痛点,比如验光不准确,看不到实物镜架,仅凭照片无法判断尺寸和风格是否合适,而且选镜技术不成熟 —— 一些网站直接在顾客照片上贴上镜框,根本不能作为判断依据,无法给予用户信任感。

   针对这些问题,Opteyes 研发了一套基于移动端应用的虚拟试戴系统,其中用到了三项核心技术:AR 增强现实,3D 拓扑技术和 AI 推荐算法。

  

   图 Opteyes 应用

   比如说,远程配镜的最大弊端是无法直观感知眼镜大小是否合脸,风格是否合适。

   从技术的角度来看,想要解决这个问题,需要一套虚拟试戴解决方案。为了最佳用户体验,必须要获得人脸数据和镜架数据。

   人脸数据因人而异,因此只有 2D 数据的普通照片是远远不够的。Opteyes 利用了 iPhone 系列智能手机上的前置景深摄像头,通过面部扫描来测量鼻宽、鼻高、面宽以及瞳距等相关信息。

   具体来说,自 iPhone X 以来,所有型号都配有 TrueDepth 原深感摄像头,其性质是基于红外结构光的深度相机系统,除了普通感光元件,还集成了泛光感应元件,红外镜头和点阵投影仪。

  

   图 TrueDepth 摄像头的三个核心组件

   三个组件构成了 TrueDepth 摄像头的核心,其中最重要的是点阵投影仪。它可以在人脸上投射超过 3 万个不可见的红外光点,再由红外镜头捕获这些光点,计算得出人脸 3D 数据,再结合普通摄像头的 2D 图像数据,就能建立精准的 3D 人脸数字模型。

   相比 TOF 等景深摄像头,TrueDepth 摄像头所用的结构光技术,在分辨率,材质和颜色还原度,以及深度数据完整性上具有天然优势。由此得到的 3D 人脸模型,被苹果用于 FaceID 生物特征识别功能中,其保真度可见一斑。这也为实现虚拟试戴打下了基础。

   在没有 TrueDepth 摄像头的安卓手机上,Opteyes 则利用 Unity 3D 追踪技术,ARCore 框架和机器学习算法,实现对人脸的建模和追踪。

   拿到人脸数据后,Opteyes 构建了基于 ARKit 或 Unity3D 的 AR 算法(取决于 iOS 还是安卓),用于实现虚拟试戴功能,并搭载于同名应用 Opteyes 中。

   所谓的虚拟试戴,并非简单粗暴地把眼镜贴到人脸上。在 AR 技术支持下,应用里的你其实是一个 3D 模型,而非 2D 贴图。应用会捕捉你的脸部、头部运动,用几秒钟的时间锁定双眼的位置,然后就能给你戴上眼镜。

  

   图 虚拟试戴展示配图

   这里就需要用到镜架数据了。为了最大程度还原真实镜架的细节,Opteyes 利用了 3D 拓扑技术对镜架建模。

   3D 拓扑是一个非常复杂的过程,简单来说就是如何用最少的面还原出实物的真实走形,可以在保证高分辨率的前提下,保证模型不会在实际应用中卡顿和变形。

   之于镜架来说,其款式不计其数,而每款镜架的材质、纹理、图案、尺寸、配色五花八门,都要用技术手段保证高分辨率和保真度。另外,Opteyes 还为镜架供应商开发了素材预览工具,以便快速核对镜架属性。

   有了准确的脸部模型和镜架模型之后,才能将虚拟眼镜 “佩戴” 在人脸上。

   虚拟试戴时,用户可以随意转动头部,从多个角度观察和比较不同镜架上脸的效果,无论是凹出各种造型,还是把手机拿远和靠近,或者是只露出半边脸,都不会出现 “眼镜掉落” 的情况。

  

   图 换镜架配图

   为了方便用户观察镜架,Opteyes 还用到了四倍抗锯齿和光线估算技术。

   前者通常是运用在游戏中的技术,可以保证模型边缘在放大后仍然平滑,用在这里可以保证镜腿和镜框的细节清晰度。后者则是结合苹果 ARKit 或安卓 ARCore 镜片素材,在明亮及昏暗环境下均能显示眼镜反光亮度及颜色,增加真实感。

   值得一提的是,Opteyes 还在虚拟试戴中提供了拍照和录屏功能,方便回看试戴效果 —— 虚拟试戴时用户可能会摘下眼镜,近视用户可能看不清试戴效果。

   至于如何挑选镜架,在传统零售店中,导购扮演了推荐镜架的角色,但在数字化模式下,AI 算法其实更能胜任这份工作。比如电商平台上常见的个性化商品推荐,京东还推出了 AI 导购机器人 JOY,背后都是 AI 算法。

  

   图 AI 算法判断脸型

   类比到 Opteyes 上,在挑选镜架的过程中,如果用户拿不准自己的脸型和风格,不知道哪些哪些镜架适合自己,就可以利用应用中的 AI 推荐功能。

   该功能使用了基于机器学习的 AI 算法,会从用户脸型、镜架偏好、使用行为、验光及处方结果等多个维度进行评估,最终给出个性化推荐镜架。

   Opteyes 表示,其 AI 算法是自主研发和训练的,可以利用大数据快速优化和迭代,以适应流行趋势。

   不仅仅是虚拟试戴和人工智能

   当然,配眼镜不仅只有挑选镜架一个环节,还涉及到验光、挑选镜片、制作镜片等多个流程。

   目前来说,像验光这样精细的、需要验光师职业经验的工作还很难远程完成。在 Opteyes 的服务流程中,验光也是在线下完成的。

   为了提升效率,Opteyes 选择了企业作为线下切入点,工作人员和验光师会携带验光设备前往写字楼或办公区域,为企业客户的员工提供全套验配镜服务。对于有配镜需求的人来说,可以通过 AR 虚拟试戴节省逛眼镜店的时间,只专注于验光即可,一个人平均需要 20-30 分钟。

   据 Opteyes 介绍,他们的验光设备是来自于德国光学巨头蔡司的 i。Profiler®plus 屈光分析仪,集波前像差、自动验光、角膜地形图和角膜曲率测量功能为一体,大约 60 秒就能完成测量且全程自动化。在保证屈光度误差小于 1% 的前提下,还能捕捉泪膜病变和角膜异常等眼病风险。

  

   图 蔡司 i。Profiler®plus 屈光分析仪

   验光完成后,用户会获得个人视力健康档案。这些隐私数据,连同 AR 试戴时捕获的人脸数据,都会经过加密保护。比如人脸数据是不会储存在后端服务器上的,AI 算法完成计算后就会销毁。

   至于未来的发展方向,Opteyes CEO 王洁玮在接受采访时表示,“我们希望未来能更好地利用 AI 技术,将更多的线下服务转移到线上,利用 AI 推荐镜片等。在为用户带来更流畅的配镜体验的同时,实现真正的一站式数字化配镜。”

   其实就像 AI 刚刚进入我们生活的某些领域时一样,在特定应用场景下,我们会觉得没这个必要,因为已经习惯了传统方式。

   之于目前的眼镜行业也是一样,虽然 Opteyes 也没有解决全部的痛点,比如仍然需要线下验光,以及依赖于验光师的经验。但他们在 AR 和 AI 技术上的突破性尝试,兼顾创意和用户体验的虚拟试戴,都足以让人眼前一亮。

   或许这就是科技改变生活的价值所在。