2017年9月,苹果推出第一部具有3D视觉功能的iPhone X,其最大的亮点就在于Face ID。刘海屏里藏着的Flood illuminator (泛光感应元件),可以投射出人眼看不到的光,并读取用户脸部的3D几何结构图,且苹果还为此开发了Neural Engine(神经引擎),用神经网络处理和点阵模式,建立人脸数学模型。
(iPhone X原深度摄像头系统)
除了Face ID,苹果还实现了脸部动态AR贴纸以及动态追踪人脸表情的Animoji等等。3D建模赛道悄悄拉开了序幕,各大手机厂商依次进场。
2018年6月,OPPO发布OPPO Find X,搭载由矿视提供3D结构光技术;vivo在MDC发布TOF 3D超感应技术,由旷视科技提供3D人脸建模算法支持。目前,旷视已和许多厂商达成合作。旷视科技Face++高级副总裁吴文昊介绍称,“手机3D视觉领域虽然已有多种类型的应用案例出来,但该领域包含算法和模组的软硬一体整体解决方案仍是缺位的,旷视科技正在尝试一种从上往下的整合方案。”
由此,旷视发布了“软硬一体移动端智能3D产品解决方案”。包括从3D应用到AI算法、解决方案、传感器、芯片等。
3D应用层:人脸识别解锁、3D人像光效、3D美颜、3D整形、AR游戏、虚拟试穿等;
3D算法:MegBrain深度学习引擎、3D识别/重建算法、人脸识别、活体检测、注意力检测追踪等、人像3D建模、人体3D建模。在这个领域与Bellus 3D、Altizure等企业联合研发;
解决方案:根据不同应用场景中对深度计算、深度修复、深度优化、标定、畸变校正等能力的需求,设计基于双摄、三摄、深摄的解决方案;
硬件模组:摄像头、传感器、芯片等硬件模组的研发,旷视联合艾迈斯半导体等3D硬件模组厂商展开合作,此外,还将联合主要芯片厂商合作研发算法适配性更强的芯片。
目前手机3D视觉的机遇和挑战
Bellus3D执行总裁Eric Chen介绍了未来3D视觉可能的杀手级应用,包括:
VR里的人脸建模,可以把真实的人脸放进VR游戏里,提升沉浸感。
3D视觉帮助用户选配眼镜,根据人脸的情况做完全的定制化,以后用手机就能配眼镜。
AR试妆、试穿。
(Bellus3D是一家来自于美国硅谷的移动端3D面部扫描企业,专注于为手机等移动设备提供高解析度的3D人脸扫描、建模技术和产品。)
吴文昊认为新的杀手级应用有三个层面:
新的硬件形态,手机已经陪伴我们10多年,将来会有新的消费电子产品出现,我认为一定是以3D、AR为主要卖点的产品,这个离我们并不遥远。
3D一定要跟智能化结合起来,AI+3D一定是非常大的杀手级应用场景。现在已经在做这样的事情,像AI Camera拍张照片,我们识别理解这是蓝天,这是草地。加上我们3D的物理信息,一定会做出非常好非常酷的拍照效果。
当然除了手机厂商大佬们,各行业各领域也都在悄悄布局自己的3D视觉产业。像谷歌的Tango,能精准描绘关于周围环境的3D地图,能让移动设备拥有和人类一样的空间和运动感知能力。Tango开创的是基于视觉的3D运动跟踪和场景建模,谷歌为3D跟踪和场景建模设计了传感器和移动计算平台。
目前,3D机器视觉获取深度信息的办法主要有三种:结构光、TOF时间光、双目立体成像。
刚获3.6亿元D轮融资的「超级猩猩」推出了1对1私教和私教小团课,购买私教课的用户能使用3D体测仪,进行身体成分测量、围度数据测量、体态评估和体型预测等服务,教练根据学员的身体情况、运动基础以及健身需求,提供个性化、周期性的训练计划。
千亿级自动驾驶市场,也在进行3D化布局,为客户提供多场景解决方案,例如3D建模、3D地形测绘、3D人脸识别等。
Snapchat的3D建模——基于用户的脸部扫描,用对象识别技术来识别用户情绪,这也显示出社交软件的潜在发展方向。
(Snapchat如今已发展为全球最受欢迎的社交媒体平台之一。)
像前几天刚上映的科幻巨作《阿丽塔:战斗天使》导演,詹姆斯·卡梅隆研发的一系列技术——接近于人眼的3D摄影机、同步预览即时CG画面的虚拟摄影机,将3D技术向前跨进一大步。而新片《阿丽塔:战斗天使》技术上比《阿凡达》更升级、更先进。这也是电影史上首次实现CG和真人结合的类人类角色。
国内的房产服务商们也在这一领域有很大的突破,将人工智能技术引入房产交易。3D技术提供商白犀牛——5分钟拍一套3D全景房源。为客户带来更逼真,更有效的看房体验,让客户以全新的3D视角了解房租的全部信息,实现身临其境的看房体验。
链家和贝壳等都采用了相同的VR看房,基本上能达到70%的还原度。
像安居客推出的“临感”——1:1全真复刻,所见即所得。用户可随时浏览视角下通过720°多方位查看房屋景象,同时也能借助上帝视角了解房源户型结构和布局,总的来说,这款产品用户体验感最佳,确实有“所见即所得”感觉。
(“临感”是58集团旗下安居客基于击败所有人类围棋高手的AlphaGo同类技术推出的VR/3D看房产品)
虽各家产品所用技术和实际场景应用匹配度不尽相同,产品体验也还有待提高,但相信随着时间的推进,各家的3D产品也会慢慢完善适应市场需求。
说到这里,又不得不提及国内的另一在3D领域有重大突破,同时也是我本人相对看好的一个行业领域——时尚消费领域。
万亿规模的服装市场中,遍布全球各地的衣服品牌商、运营商、经销商都在屏息等待着3D建模大战开跑的号角,谁都难以忽视这场战争可能对市场造成的冲击和影响,或者说生产关系或将因此而改变。
眼下,就国内而言,已有不少的尝试,如3D试衣、3D量体、VR购物等。UGift创始人兼CEO刘炯标认为,5G时代的到来,3D、AI、AR、VR、大数据等新技术也将成为让时尚行业数字化的重点。
UGift成立于2018年,同样是受苹果Face ID的启发,UGift想要基于3D建模技术,推动时尚产业的3D数字化发展,提高产业效率。搭建了一个3D数字化时尚交易服务平台,整合品牌商、设计师、渠道经销商等产业各方面的资源,将设计数据、生产数据、成本数据等信息以3D数字化方式运转,实现服装时尚产业消费全方位数字化融合。
刘炯标表示,计算机视觉下一步将走向三维重建,未来的时尚数字经济化的重点是可视化、在线化、智能化、可定制化、基于3D数字化信息流,时尚资源将重整,生产关系也将重构,产业3D数字化更看重的是硬核技术。
总的来说,目前3D建模主要有三个应用方向,很可能分别成为各自技术领域中新的投资和创业风口:
建筑物的3D高精度模型,应用在智能设计、物流、智能城市化建设和工程监理之中。
高精地图与3D数据感知结合,这也是无人驾驶很重要的一环。
3D建模,建立数字化世界,这对于智能家居设计、VR/AR、时尚消费市场等都有很大的数字化帮助,生产关系也将重构。
想象在未来的几年里,当3D/增强现实应用到各方各面,变得无处不在时,我们可以随时随地对真实世界进行建模,让天马行空的想法立即呈现在我们的眼前,这将是一件非常酷的事。
3D世界的游戏才刚刚开始,我们离未来世界越来越近了。