物联网

  • 主页
  • 物联网
  • 谷歌开发实时红外有源立体深度传感器,推动3D深度感测发展

谷歌开发实时红外有源立体深度传感器,推动3D深度感测发展

发布时间:2020-05-11 02:03:03 所属栏目:物联网 阅读:

  5月7日消息,继向ARCore添加深度API之后,谷歌继续使用谷歌Pixel 4智能手机探索实时3D深度感测。

  据悉,谷歌开发了实时红外(IR)有源立体深度传感器uDepth,旨在设计精确且具有度量的标准。这个想法是为了在Pixel 4手机的面部解锁功能下在高速和黑暗中工作。此外,它可以帮助身份验证系统识别用户,同时还可以防止欺骗攻击,它还能够对照片进行事后润色、基于深度的场景分割、背景模糊、人像效果和3D照片。该系统既生成30Hz的深度流,又生成平滑的、经过后期处理的深度图,以用于摄影后捕获效果,例如用于社交媒体的散景和3D照片。

  为了实现这一目标,Google训练了一种端到端的深度学习架构,该架构增强了uDepth的原始数据,使用RGB图像、人物分割和原始深度的组合推断出完整、密集的3D深度图。此外,该公司还将Pixel 4手机与一个体积捕捉系统的灯光和摄像头同步,该系统可以生成接近真实感的人体模型。该系统由一个测地线球体、331个定制彩色LED灯、一组高分辨率摄像机和一组定制高分辨率深度传感器组成,它有助于生成结合真实图像和从Pixel 4摄像机视角合成渲染的训练数据。

  uDepth软件主管Michael Schoenberg和uDepth硬件/系统主管Adarsh Kowdle在一个描述该技术的博客上写道:“当一部手机出现严重下降时,它可能导致立体摄像机的出厂校准偏离摄像机的实际位置。为了确保在实际使用中获得高质量的结果,uDepth系统是自校准的。计分程序评估每个深度图像是否有误校准的迹象,并建立对设备状态的信心。如果检测到校准错误,则从当前场景重新生成校准参数,这是一条由特征检测和对应、亚像素细化(利用点轮廓)和束调整组成的管道。”

  虽然智能手机的面部解锁功能可能还与商业和专业领域无关,但这项技术的进步展示了深度传感器在未来3D应用中的潜力。深度感测为开发人员和用户提供了确定场景的3D信息的能力,在智能手机上使用深度传感器不仅可以帮助摄影,还可以帮助增强现实、3D扫描应用程序等。与其随身携带一台大型3D手持扫描仪,不如将它放在口袋里。