天猫黑科技秘密全公开!人脸识别、AR交互、3D物体云识别… - 阿里技术
2017年“天猫618理想生活狂欢节”已经结束,不管是线上的会场还是线下的体验馆都给大家留下了很深刻的印象:天眼AR、跨屏互动、虚拟魔镜、3D交互、全景漫游等黑科技,让今年的618前所未有地热闹纷呈。相信很多小伙伴对这些体验背后的技术体系比较感兴趣。此次将为大家揭开神秘面纱,介绍一下618这些黑科技出自谁的手,又是如何在大促的快节奏中高质、高效生产出来的。
从“互动开放+TidaSDK”到“互动联盟+海螺码头”
天猫在2014年双11开始启动互动开放,目的是让消费者能从狂欢城进入品牌店铺玩小游戏获取权益,为品牌商带来进店流量的同时也让消费者在进店的时候更加有趣。所以天猫联合商家事业部为双11进行ISV的招募,以满足店铺与消费者的多样性选择。
ISV入驻与代码托管底层还是基于聚石塔的开放平台,由天猫互动平台根据互动场景以及手机天猫、手机淘宝、PC等环境特性,提供统一的TidaSDK(Tmall&Taobao ISV Development API)赋能ISV。
TidaSDK包含的接口分为两大类,包括传感器、基础UI等的终端能力接口以及抽奖、加购等业务能力接口,提供能力的同时保障稳定性与安全性。ISV开发好应用之后发布到服务市场,商家根据自身业务情况进行选择和订购并通过店铺装修等渠道进行布点。
随着互动业务的不断发展,我们发现天猫行业与品牌有两大趋势需要重点关注:
- 对定制化互动需求更加强烈,虽然在服务市场中订购的应用通过一些可配置项能达到一定的个性化诉求,但对于很多品牌来说还是不够的,品牌需要更多独特的创意以及一对一的服务。
- 不仅在活动营销上有需求,同时对日常的消费者体验的提升也有强烈的需求,需要我们提供更多体验升级的技术能力输出,如3D体验。
基于这两点,2016年天猫技术联合阿里巴巴UED团队主办了第一届“喵葩互动创意大赛”,选拔符合天猫业务升级要求的优秀ISV组成“天猫互动联盟”(hudong.tmall.com),进行体系化的技术培训、系统化的订单推荐、灵活的验收与结算方式等服务,目前已有数十家服务商成为天猫互动联盟正式成员。获得认证后的互动联盟服务商具备更可靠的技术能力以及业务能力,并熟悉阿里生态和开放平台的环境,将为业务方带来更高效的定制服务。
半年来,互动联盟为天猫超级品牌日、粉丝趴、阿里鱼、618、天猫各行业等众多业务方尽百个项目的上线,同时多个联盟服务商也因此不断拓展市场,实现了很好的盈利模式。
此外,天猫在2017年初推出了“海螺码头平台”(hailuo.alibaba.com),为消费者交互体验升级打通整体链路,提供从模型素材生产到场景输出一站式服务(目前以3D&AR为主),建立天猫品牌与互动联盟的连接,天猫小二、品牌商家、互动联盟成员都可以进入海螺码头进行内容的创作以及发布。
目前,海螺码头平台包括了场景创作、模型素材、定制服务三大核心模块:
- 场景创作整合了AR扫、家装AR购、虚拟试妆台、3D汽车等内容的创作入口,提供丰富的配置后台,连接模型素材与定制服务中生产的内容,并与招商系统、会场、店铺、商品详情等链路打通;
- 模型素材处理模块提供多种模型文件的上传、校验、格式转化、压缩、商品与场景的映射等处理能力,降低人工沟通与处理的成本;
- 定制服务提供互动联盟的自动化模型生成、人工模型制作、交互页面开发、互动创意策划、互动营销定制等等服务,并能在线跟踪订单的开发情况以及验收。
4月份上线以来,海螺码头已经覆盖近万个品牌商家以及处理了大量的模型素材,不断完善的技术体系与生产链路为业务方带来巨大的商业价值。
从“扫图片”到“天眼”,TidaSDK 4.0升级AR接口
天猫互动联盟与海螺码头的开放生态继续在TidaSDK的基础上进行升级,在618之前就已经开放了基于Marker-based图像识别的AR接口,广泛应用于消费者扫Logo、海报、电视大屏、商品包装等场景中。
这次618,天猫技术为互动联盟开放了更为领先与强大的云识别接口以及试妆台人脸识别,其中基于深度学习的3D物体云识别以及客户端的SLAM定位技术,是“天眼”效果的基石,通过与webview中web3d渲染层的同步,让消费者不再只能扫平面的东西,现在可以通过摄像头和任意物体进行交互,真正做到了现实与虚拟的强融合。
如下面视频所示,消费者可以对着眼前真实的新款洗碗机,在摄像头中与它交互,非常直观的了解它的功能细节。这样消费者在线下的商场就不再需要等待导购员的咨询了,或者通过线上购买到家安装后,也可以通过手机天猫对着它实时指导怎么使用。
从Hilo2D到Hilo3D,兼容性与性能再优化
很多朋友都知道我们去年开源了支持webgl、cavans、dom等多种渲染模式的Hilo动画引擎,但只开源了2D部分,随着AR和3D业务的发展,3D的渲染诉求也越来越强烈。上文有提到天眼的交互采用的是Web3D体系进行模型的渲染,因为遵循业界标准的底层,有利于互动联盟的开放生态的持续发展。
但是也存在部分低端手机兼容性与性能的问题,所以我们赶在618之前就已经完成了Hilo3D第一个测试版本的研发,手机天猫与手机淘宝中的webview底层也针对Hilo3D进行了兼容性与性能的优化,我们将在合适的时候对Hilo3D也进行开源,Hilo3D的设计原则是:
- 沿用Hilo2D的设计风格与开发方式,极简+易上手
- 支持glTF模型,提供在线格式转化器
- 聚焦在渲染效果、性能、兼容性三方面,并通过扩展的方式进行工具化建设
现在Hilo3D已经在邀请内测阶段,感兴趣的朋友可以到https://github.com/hiloteam/Hilo 中提交issue进行申请。
结语
这次天猫618线下体验馆与线上会场新体验,都是基于以上技术体系进行打造的,为生态中的各角色降低创新业务的落地成本。围绕着海螺码头这个虚拟内容的生产链,结合互动联盟+TidaSDK+Hilo3D的开放能力,我们相信越来越多新体验的内容将涌现,融合线上线下,为消费者带来随时随地、身临其境的购物体验,为品牌商家带来更加有效的品牌升级服务。