深度 | 手机AR,谷歌为何起了个大早却赶了个晚集?
2018-02-27 17:32:00 1293阅读 发布地区:大理白族自治州

深度 | 手机AR,谷歌为何起了个大早却赶了个晚集?

就在前几天,谷歌正式发布增强现实软件工具开发包ARCore 1.0,上亿安卓手机将拥有AR功能。在苹果ARKit推出半年之后,谷歌终于与苹果正面开战。

在手机AR上,相比苹果,谷歌似乎成了后来者。

而其实,ARCore的前身——谷歌Tango早已面世几年,谷歌才是智能手机AR的开创者。苹果抢先推出在大量设备上使用的ARKit,使得谷歌迫于压力停止Tango项目,转而推出ARCore。看起来像只是改了个名字,但是也意味着谷歌在Tango上的心血和希冀也大部分付诸东流。

雷锋网特意梳理了Tango项目的前因后果,加入多位业内人士观点,与您一起聊聊:谷歌砸重金的创新项目Tango为何行不通,以至于被苹果抢了先机?谷歌Tango项目还有哪些可能,能给我们哪些启示?

超前的Tango:定义下一代智能设备

谷歌原本是想定义下一代智能设备。

2014年2月,谷歌先进技术和项目团队(ATAP)发布名为”Project Tango“的新项目,以计算机视觉技术为智能手机添加运功追踪、3D感知功能。

项目负责人Johnny Lee表示:“我们的目标是让移动设备拥有和人类一样的空间和运动感知能力,以增强和创造新的用户体验。”“这个手机配置了一些能绘制完整3D的硬件和软件,它可以精确描绘关于周围环境的3D地图。其中的传感器速度可以快到实时更新周围的地理位置,并将这些数据迅速转换成3D模型。”

深度 | 手机AR,谷歌为何起了个大早却赶了个晚集?

Tango有三大核心组件:

  • 运动追踪(Motion Tracking):通过移动设备自带的多种传感器,在不通过外界信号的情况下(例如GPS,WiFi,蓝牙Beacon等),实时获取设备的姿态与位置(6Dof)信息。这是Tango的核心功能,其技术实现方式是:tango使用视觉+惯性器件,实现了VIO(visual-inertial odometry)算法。

  • 深度感应(Depth Perception):利用自带的深度传感器扫描外界三维环境,生成点云,构筑三维模型。

  • 环境学习(Area Learning):可以被视作是motion tracking的增强,它可以将之前走过的路径记录下来,自动矫正环境构建与运动追踪中积累的误差,识别重复环境,减小误差。

Tango无疑在软件和硬件上都很有技术含量。

在凌感科技CTO马赓宇看来,“Tango之前,基于视觉的3D运动跟踪和场景建模还只是一个学术研究题目,可以做些demo,但是没有能实际应用的系统。谷歌投入了大量精力,为3D运动跟踪和场景建模专门设计了传感器和移动计算平台,把停留在纸面上的技术变成了能广泛应用的产品,使得移动AR成为可能。”

Tango并不是真正的产品,而是一个品牌名。Tango 是一个在规定的硬件标准下运行的软件程序,其规定了RGB、鱼眼镜头、深度相机、CPU/GPU规格等硬件参考设计,还涉及VIO(运动跟踪),稀疏映射(区域学习)和密集 3D 重建(深度感知)等软件。谷歌还与Movidius合作,为Tango打造了独特的视频处理芯片Myrid VPU,该芯片助力复杂的Tango算法能在手机上流畅运行。

谷歌没有把Tango的技术授权给任何第三方,想使用Tango只能去购买谷歌官方支持的几款硬件。

深度 | 手机AR,谷歌为何起了个大早却赶了个晚集?

(The Yellowstone Tablet)

谷歌发布了几款硬件来主导Tango手机,第一款是2014年初的”花生“手机(The Peanut),第二款是”黄石“平板(The Yellowstone Tablet)。Tango平板售价起初为1000美金左右,而后降低至500美金,总共卖出1000台左右,主要面向开发者。

深度 | 手机AR,谷歌为何起了个大早却赶了个晚集?

(联想Tango手机)

2016年6月,谷歌与高通合作开发消费级Tango手机,取消了Tango平板上有的视觉处理芯片,也取消了对深度相机的要求。同年,联想发布第一款搭载Tango的智能手机——联想Phab2 Pro,采用高通骁龙652芯片,售价400美金。随后,2017年,华硕与谷歌合作,推出了支持Tango的ZenFone手机。从2014年到2017三年的时间里,我们也仅看到几款支持Tango的手机,而这些手机设备也没有引起市场太大的关注。

Tango催生移动AR,却为何“卖不出去”

“看起来很酷,但是究竟要怎么用呢?“这是不少人对谷歌产品的感觉。

Tango究竟要用来做什么?虽然现在ARCore很明显就是AR开发平台工具,但是Tango一开始其实定位为3D感知手机,谷歌一直介绍Tango是一款——“知道自己在哪儿的手机”。基于运动追踪和空间感知功能,谷歌一开始希望用Tango来解决室内导航的问题,在室内无法使用GPS的时候,不依靠任何外部的设备,就能提供设备的定位。

Tango与AR/VR发生关联的重要信号在于:2016年11月,Tango项目从先进技术和项目团队(ATAP)转移到了Daydream部门。负责人Johnny Lee表示:Tango 团队将会和 Daydream 团队协调合作,两个团队的工作将会由谷歌 VR 部门的负责人 Clay Bavor 统一管理,并且 Clay 则会直接将工作汇报给谷歌CEO Sundar Pichai 。

2016年是VR的元年,HTC、Oculus、PSVR几大高端头显发布,Pokemon Go的火爆也让大家对AR充满期待。Tango技术开始越来越多地应用于AR。

深度 | 手机AR,谷歌为何起了个大早却赶了个晚集?

2016年底,在谷歌与联想合作举办的Tango开发者大赛上,谷歌Tango项目的研发工程师郭旭曾说:Tango技术的一个最关键优势就是易于普及,“目前,如果要推广其他的VR/AR平台,开发者一般都需要花费几百美元或者上千美元去购置一套设备。但是Tango不同,它借助一个现有的智能手机平台,如果推广开来,可以很容易地达到一个非常高的市场占有率,而且像安卓一样是免费的。更重要的是,随着用户数和开发者数量的持续增长,Tango将对整个AR/VR行业产生一个积极的推动作用。”

在马赓宇看来,“Tango是第一个能实现AR功能的手持设备。它证明了手机AR可以达到以假乱真的效果。是一个具有跨时代意义的产品。很多用户和开发者,都是通过Tango第一次体验到了AR的神奇。”

然而,在2016年底,联想Phab2 Pro发布时,Google Play商店中有仅有为数不多的几款Tango设计的应用:AR虚拟家居摆设、AR游戏、AR博物馆等。Tango无疑是第一个能在智能手机上支持AR的平台,可惜,却没能早早地普及到大规模设备,也没有火爆的应用诞生。

深度 | 手机AR,谷歌为何起了个大早却赶了个晚集?

Tango为什么卖不出去?

马赓宇分析到:“Tango手机的研发成本高。需要特殊的硬件。而且算法需要针对不同的CPU进行优化。同时由于Tango手机少,开发者开发AR内容的热情不高。导致用户没有购买意愿。又进一步降低厂商研发Tango手机的热情。”

硅谷投资人Matt Miesnieks分析到,三年来,仅有屈指可数的几款手机搭载了Tango,其原因可能是:谷歌公司不想为每家 OEM 都进行特定的传感器校准过程,且随着 Android 智能手机硬件商品化,相机和传感器堆栈是 Android 手机最后实现差异化的地方,所以 OEM 厂商无法满足谷歌的要求。谷歌认为,深度相机是手机的一部分,但是深度相机增加了手机成本,这也是 OEM 厂商拒绝 Google 的另一个原因。

苹果抢占先机

深度 | 手机AR,谷歌为何起了个大早却赶了个晚集?

Tango发展缓慢,而苹果借助ARKit,抢先在所有iOS设备中上线了AR功能。AR真正变得进入大众用户,以大量的硬件设备持有来支持消费市场的内容开发。

2017年6月,苹果在WWDC上公布了自己迈入 AR 领域的第一步——针对 iOS 11 推出 ARKit,使得上亿设备瞬间拥有AR功能。开发者不需要任何别的工具,就可以轻松利用ARKit开发AR应用。苹果CEO库克认为AR是等同于智能手机一样重大的创新,会给人生活带来巨大的影响,而苹果ARKit将和App Store一样成功。ARKit一推出就备受关注,短短半年时间,App Store中就有超过三千款基于ARKit的AR应用。

2017年9月,谷歌发布ARCore,与苹果分庭抗礼,然而由于晚到一步,谷歌成为了苹果尴尬的追随者。

“12 个月前,Google 本就可以轻松交付能够在 Android 系统上运行的 Tango手机,但 Google 没有这样做。如果 Google 早早将 Tango 发货 ,那么 ARKit  的问世也只是紧跟趋势,而非重大突破。“Matt不由得感叹。

Matt指出,ARKit的基础技术是视觉惯性测量(VIO)系统、简单的2D平面检测。ARKit可以被看成轻便的SLAM系统,可以将3D虚拟物体放置在真实的平面中,使得虚拟物体在平面上运动,还可以追踪用户的相对运动。

ARKit核心的VIO系统和谷歌Tango没有区别,ARKit能实现的功能和Tango也几乎一样。但是,显然,苹果在软件和硬件的整合上,甩了谷歌几条街。Matt认为ARKit的优势在于苹果公司可以负担得起将 VIO 算法紧密耦合到手机传感器上,并花费很多时间来校准 VIO 系统,以减少计算空间位置时产生的误差。

赛格威机器人研发高级总监陈子冲分析到:“单目的VIO都需要每台手机有标定的流程。苹果的手机因为是标准化的,一共只有几个型号,所以他显然做得更容易一些。Google要在android生态中要推广普通相机使用VIO,那就要解决这个标定问题,可能是通过某种自适应方法,使得这个步骤可以免除。但是仍然,他需要一家一家去测试,毕竟每家手机的摄像头和IMU型号和位置都不一样。所以你看他是一批一批的支持Android手机。“

库克在接收英国独立报采访时,更为简洁地指明了ARKit的先发优势:“苹果公司自己打造手机制造软件和硬件,这使得它在AR和其他领域都处于独一无二的优势地位。谷歌也在对它的Pixel手机系列做同样的事情,并整合了良好的虚拟现实功能,但这些手机的销量并不大。”

谷歌的AR技术积累早于苹果,但是由于没有整合好软硬件,被ARKit抢占了先机。此时,谷歌显得十分尴尬,要么推出单目AR SDK,要么强推Tango让安卓手机硬件升级。

Tango推出三年,也仅获得几款手机支持,谷歌现在明显只剩下推出单目AR SDK这条路。2017年8月,谷歌在新品发布会上展示了ARCore开发者预览版,可以支持Samsung S8和 Pixel系列手机,正式与ARKit开战。ARCore被看作是轻量级的Tango,有业内人士认为,谷歌看起来只是注释掉了Tango深度相机部分,换了个名字。

前文介绍到,Tango有三大核心组件——运动追踪、深度感知、环境学习。由于减少了深度相机和一些传感器,ARCore保留了运动追踪和一部分的环境侦测功能,其深度感知,3D建模的能力则不如Tango,而这曾经是Tango最黑科技的一部分。

Tango项目停止,ARCore登场

深度 | 手机AR,谷歌为何起了个大早却赶了个晚集?

2017年12月,谷歌停止Tango项目,全力支持ARCore。

谷歌发文解释到:“自 2014 年开始,我们一直在关注 AR 研发,并且推出 Project Tango。从 Tango 中我们积累了不少经验,将其应用于 ARCore 的研发中。遗憾的是,Tango 需要定制硬件,而 ARCore 是一个快速和高性能的,可广泛应用的 SDK 工具,能为数百万台符合要求的移动设备实现高质量的 AR 效果……由于我们将关注点从 AR 技术本身转移到整个以 ARCore 为主的安卓生态系统,所以我们决定将停止支持 Tango。”

也就是说,在长达三年的技术探索之后,谷歌Tango的软硬件参考设计行不通之后,谷歌要将ARCore开放给更多的安卓设备了。

而就在前几天,谷歌宣布正式发布ARCore 1.0,可运行于13种不同型号、超过一亿台的智能手机。这13款手机包括:谷歌Pixel,Pixel XL,Pixel 2,Pixel 2 XL;三星Galaxy S7,S7 Edge,S8,S8+,Note 8;LG V30,V30+;华硕 Zenfone ;One Plus 5。谷歌也正与包括华为、摩托罗拉、华硕、小米、HMD/诺基亚、中兴、索尼和 Vivo 在内的多家智能手机厂商展开合作,在他们将推出的产品中搭载 ARCore。

简化Tango,推出ARCore是谷歌不得已之举,这意味着承认Tango项目的失利,并且承认苹果ARKit抢占了先机,正确地引领了手机AR之路。

但是,谷歌或许也得感谢苹果打开了手机AR的市场,为Tango日后的发展奠定基础。虽然说,谷歌停止了Tango项目,放弃了以Tango为品牌打造智能设备的策略,但是并不等于谷歌会放弃继续发展Tango的核心技术,用于ARCore的升级,以及其他的创新产品。

马赓宇谈到:”苹果突然发布ARKit产品,性能与Tango相近,而且可以在普通手机上实现。使得还需要特别硬件的Tango方案失去了市场竞争力。Tango优于ARkit的一点是它还可以实现场景的3D建模。在一些低纹理区域可以工作的更好。而且在未来的AR应用中可以给用户更多的信息。传闻苹果也在考虑加装后摄的深度摄像头,未来的硬件可能跟tango类似。“

陈子冲认为:“从Tango到ARCore,谷歌全面转向了AR这个业务需求,致力于在所有的Android手机上提供给AR的SDK。在技术上是一个平移,在业务上是一个拓展(从原来少数几款手机推广到整个Android生态。国内相关的手机公司大概率会和谷歌合作,获得ARCore的支持。对于从事VR的公司也是利好,可以通过极少的技术投入,以很低的成本(android+摄像头)实现一个6轴的VR头盔。”

虽说现在苹果ARKit抢先几个月发布,但是这种领先估计也只能说先走了半步。ARKit 1.5 和ARCore 1.0都还是初代产品,不少开发者对雷锋网表示,无法用它们做出很惊艳的产品。而不少开发者心中理想的AR开发工具还需要具备:更强大的环境理解功能、实时3D重建、多人交互、语音识别等,才能达到真正的虚拟与现实融合。目前,我们确实还没有看到爆款的AR应用。

虽然苹果不升级硬件,抢先了半步,但是硬件升级或许是必然的。UCVR CEO胡金晖谈到:“谷歌停止Tango,推出简化版ARCore,策略上可能打算曲线救国。这些手机OEM厂商觉得Tango方案又贵,又要重新设计主板,不想采用,那就干脆先把软件技术集成到现有手机上,等大家适应了也用惯了AR手机,想要更高端的时候,只要在上面加个深度传感器就好了。”技术总是不断更新迭代的。

未来,Tango会复活吗?

从技术史来看,从没有一个凭空冒出来的创新技术,新技术一般是旧技术的组合创新。Tango也是一些技术组合而成,Tango项目的停止,并不会终结这些核心技术的可能性。

这一切,可以从微软Kinect说起。

2010年,微软为Xbox 360特意打造了Kinect。Kinect配有深度摄像头和语音识别麦克风的硬件,可以识别空间、人体动作,且支持语音控制,xBox立马变身体感游戏机,增添了很多创新的玩法。

深度 | 手机AR,谷歌为何起了个大早却赶了个晚集?

微软Kinect是人机交互领域跨时代的作品,在此前,人机交互一直是以机器为中心的,人类学习机器的语言去和机器交流。微软Kinect首次让机器学会理解人类,理解人类世界。Kinect是微软为了填补人体和设备界面之间,超越键盘、鼠标、触控屏极限的一次伟大尝试。

在雷锋网此前文章《微软的Kinect停产了,但它为今天的VR/AR做了很多贡献》一文中曾写到:

自 2010 年来,苹果仿效 Kinect 语音控制功能,推出了 Siri 语音助手;谷歌也开始了 3D 追踪系统 Project Tango(该项目的领导者是曾经研发 Kinect 的 Johnny Lee)。视觉和语音系统几乎成了智能手机的标配,也逐渐进入我们的家居领域。亚马逊 Echo 将语音助手带进爷爷奶奶的卧室。新一版的 Echo Show 还在 Alexa 上加装了摄像头。

谷歌Tango项目起源于Kinect,命运也和Kinect相似。作为开创性的产品,Kinect的黑科技难以扩展应用场景,被市场接受。微软停止Kinect项目,但是并没有停止Kinect相关技术的研发。

商询科技CTO邬浩告诉雷锋网:“Kinect二代停产,也仅仅是用于xbox的Kinect硬件设备卖的不好,所以硬件不再生产了,但Kinect技术线是一直持续的。HoloLens自身属于Kinect四代技术,而Kinect五代技术一直在研发中,并且已经就要发布了,而这就是HoloLens二代。“

即便是硅谷消息最灵通的科技记者,也经常不知道几大科技巨头公司都有哪些部门,每个部门实际上在从事着什么样的研究。在雷锋网(公众号:雷锋网)看来,Tango项目虽然停止了,但是其后续影响力肯定还将持续。

谷歌在Tango的技术积累可以帮助ARCore更新迭代,这自然不必再说,Tango还有其他更多的炫酷应用。

iPhone X人脸识别

深度 | 手机AR,谷歌为何起了个大早却赶了个晚集?

(iPhone X原深度摄像头系统)

2017年10月,苹果发布了iPhone X,其最大的特色是增添了一个拥有数十颗传感器的”原深度摄像头“。这个摄像头可以实现人脸识别,使得人脸解锁代替指纹解锁,同时还可以实现人脸3D重建,方面AR贴纸功能。iPhone X的深度摄像头用到是和Kinect、Tango一样的结构光技术。

目前,3D机器视觉获取深度信息的办法主要有三种:结构光、TOF 时间光、双目立体成像。Kinect一代和Tango一代采用结构光的方法,2013年苹果收购了Kinect的开发商PrimeSense,Kinect二代和Tango二代都改为采用TOF感知深度信息。

深度 | 手机AR,谷歌为何起了个大早却赶了个晚集?

荣耀V10发布会,华为宣布正在开发“占云深度摄像头”

去年11月,华为在荣耀V10发布会上,推出“点云深度摄像头”散班结构光手机配件,可以感知用户脸部的深度并对脸部建模。据雷锋网了解,华为不仅会做前置的深度摄像头,也会做后置摄像头。另有消息,小米和OPPO将在明年发布的智能新机中,使用3D感应的面部解锁方案。

虽然现在前置的原深度摄像头主要用于人脸识别,相信日后我们会看到更强大的可以理解环境、理解物体的深度摄像头。Tango首先让人们看到了搭载深度摄像头的智能手机的潜力,iPhone X的人脸识别让这个技术先一步普及,未来,深度摄像头将成为智能手机的标配。

工业机器人

深度 | 手机AR,谷歌为何起了个大早却赶了个晚集?

2014年,谷歌Tango就曾被用在NASA的空间站机器人SPHERES上,帮助机器人执行通讯、拍照、和处理能力。在装上Tango之前,SPHERE可以做的事情仅仅是在空间站里飞来飞去,借助Tango的运动追踪、环境感知能力,这些机器人可以从事修理、运输、搜寻物品的工作。如果NASA采用定制的深度摄像头将会比Tango贵1000倍,真是节省了不少钱。

Tango的技术可以对机器人领域有所助益。在机器人领域,感知环节是进展缓慢且相对薄弱的环节。传感器和环境感知技术的进步,会使得机器产业有较大的跳跃。

总结

谷歌很多的产品都相当的酷,例如Google Glass,例如Tango。而这些产品似乎都有一个共同的问题:Google还没有想好要怎么用,不过这是大多市场引领者都会面临的问题。谷歌虽然停止了Tango项目,但是我们现在看到了ARKit和ARCore的分庭抗礼。俗话说,走的人多了,自然就有了路。随着更多玩家的加入,AR的发展会越来越清晰,谷歌之前借Tango畅想的新一代智能设备,也变得更加切实。