在增强现实平台ARKit和ARCore推出后,谷歌于2018年将其在此之前推出的开创性AR平台Project Tango(为我们了第一台带有深度传感器的智能手机)淘汰,在之后我们逐渐看到越来越多品牌在其旗舰设备中添加深度传感器相关的组件。

三星为其Galaxy Note 10和Galaxy S10 5G恢复了飞行时间(ToF)传感器,尽管它已放弃了其当前型号的传感器。谷歌也在其Pixel 4中的Project Soli对雷达进行了简短介绍。而苹果在其TrueDepth前置摄像头取得突破后,为最新的旗舰系列机型iPhone 12 Pro和iPad Pro系列产品添加了LiDAR传感器。

现在,谷歌的AI研究团队为人员了一套工具,以充分利用这些传感器生成的3D数据。

谷歌在近日向TensorFlow存储库中添加了TensorFlow 3D(TF 3D)这是一个关于3D深度学习模型的资料库,其中包括3D语义分割、3D对象检测和3D实例分割,可用于自动驾驶汽车和机器人,以及具有3D深度理解设备的移动AR体验。

“计算机视觉领域最近已开始在3D场景理解方面取得良好进展,包括用于移动设备的3D对象检测、透明对象检测的模型,但是由于能应用3D数据的可用工具和资源有限,进入该领域可能会面临,”研究科学家Alireza Fathi和谷歌研究院AI研究员AI Rui Huang在博客中写道。 “ TF 3D了一组流行的运算、损失函数、数据处理工具、模型和度量,使更广泛的研究社区能够、培训和部署最新的3D场景理解模型。”

3D语义分割模型使应用程序能够区分一个或多个前景对象与场景背景,例如Zoom中的虚拟背景。谷歌已为YouTube应用了具有虚拟背景的类似技术。

谷歌也在其Pixel,3D,Pro系列产品添加了LiDAR传感器(图1)

相比之下,“ 3D实例分割”模型将一组对象标识为单个对象,例如Snapchat镜头可以将虚拟蒙版放置在相机视图中的多个人身上。最终,“ 3D对象检测”模型通过对视图中的对象进行分类,使实例分割更进一步。感兴趣的人员可在GitHub上获得TF 3D库。

尽管这些功能已在标准智能手机相机中得到证明,但来自LiDAR和其他飞行时间传感器的深度数据的可用性为高级AR体验开辟了新的可能性。

即使没有3D储存库,TensorFlow也为一些不错的AR体验做出了贡献。Wannaby就利用TensorFlow为其指甲油AR试色帮助,Capital One也利用TensorFlow来识别汽车并在AR中叠加有关汽车的信息。

近年来,谷歌还通过TensorFlow将机器学习用于其他AR用例。在2017年,该公司发布了MobileNets存储库,用于在Google Lens中进行图像检测。 TensorFlow也是其Augmented Faces API(也适用于iOS)背后的技术,该技术将类似Snapchat的滤镜引入其他移动应用程序中。

谷歌也不是第一次将深度传感器数据用于AR体验。虽然用于ARCore的深度API支持遮挡,但对于通过标准智能手机摄像头实现的移动应用而言,使虚拟内容出现在现实对象前后的这项技术与深度传感器配合起来会有更好的效果。

本文相关词条概念解析:

传感器

传感器(英文名称:transducer/sensor)是一种检测装置,能感受到被测量的信息,并能将感受到的信息,按一定规律变换成为电信号或其他所需形式的信息输出,以满足信息的传输、处理、存储、显示、记录和控制等要求。传感器的特点包括:微型化、数字化、智能化、多功能化、系统化、网络化。它是实现自动检测和自动控制的首要环节

延伸 · 推荐

真香旗舰,外媒曝光了即将发布的谷歌Pixel,5,Pro机型,Pro搭载了骁龙865移动平台

北京时间10月1日凌晨,谷歌召开新品发布会正式发布了谷歌Pixel 5新品,这次并没有Pro版本,标准版的骁龙765G和高达699美元的价格成为了不少人吐槽的点。如果你是一个等等党,现在有一个好?近日...

预计将会采用和中兴AXON,Pixel,5,Pro让路,如果还作为旗舰产品的处理器的话

谷歌于今年11月份推出了新机Google Pixel 5,该款手机采用的是高通骁龙765G这款中端处理器。这让很多人不理解,为什么该款手机没有采用今年高通的旗舰芯片。日前,一份泄露出来的图像表明,Go...

  • 相关阅读
  • 猜你喜欢