在云栖TechDay 活动第二十七期，来自淘宝的无线技术专家胡晓航（宋五）带来题为《Buy+和造物神》的分享。他首先详细讲解了移动端Buy+的空间移动、商品交互和链路闭环三大核心问题以及对应的解决方案；并对比了VR购物和传统购物的区别，指出了VR购物的优点；分享最后宋五还介绍了淘宝的造物神计划。
以下内容是根据PPT和现场分享整理而成。
Buy+发展历程
Buy+的整体进化过程如上图所示，从最初提出概念到产品上线，经历了一个漫长的过程。始于愚人节的Buy+宣传视频，该视频阐述了未来的购物体验，引起了较好的市场反馈，也坚定了阿里在VR购物上的决心；在5月20号，阿里推出了虚拟伴侣的活动视频，市场反馈同样不错，进而促进了淘宝造物节 PC版Buy+的出现；PC版的Buy+ 1.0 包括买包和买内衣的两个场景，在上海造物节上展示了三天，活动效果极佳；但是，PC加HDCV5这种方式不便于推广，且用户接触面也相对较窄，因此移动端的Buy+应运而生；移动端的Buy+于11月1号上线，到11月11号下线，之所以快速下线是因为两个原因：一是Buy+内的商品较少，售完后自然要下线；二是其内容更新速度也跟不上，因此需要暂时下线，预计在明年三月份会以新的方式重新上线，敬请期待。
Mobile Buy+
在设计移动端Buy+时，我们选择了手机、手机淘宝APP、眼镜、全景视频四部分材料。之所以选择手机是因为其普遍率相比于PC和HDCV5高出很多；而采用手淘APP避免了用户重新下载安装一个新的APP，当然手淘自身的技术体系和包的大小会在一定程度上限制Buy+的发挥；眼镜方面，十几块到上百块的眼镜体验效果相似，用户体验成本较低；全景视频目前的采集技术已经比较成熟，采集设备也较多。
Buy+核心解决了三个问题：空间移动、商品交互和链路闭环（支付链路闭环）。
空间移动
空间移动方案较为简单，页面中的中心蓝点对准地面上的箭头就可以移动了。这其中包括正向播放的视频和逆向播放的视频，向前走就是播放正向的视频，向后走则播放逆向视频。尽管大致原理较为简单，但在处理一些细节时，需要花费大量的精力，例如在处理前进后退时出现的跳动现象(这是因为每个视频都是从关键帧开始播放的，它前进后退时会出现一些跳格)花费了大量的投入，才能确保整体切换过程的流畅性。
商品交互
上图中的蓝点是商品的标定，由于在视频中，随着走动，商品的位置和形状都会发生变化，这就需要将商品实时标注准确，这是一个很大的挑战。
最初尝试的方案是拍摄时在商品的位置放置特殊颜色的物品，每次拍摄两次，第一次拍摄正式商品；第二遍拍摄特殊颜色的替代物，然后两者结合可以把坐标系计算出来。但该方案在真实场景中并不理想，在图像识别颜色时，会有很有其他的物品或灯光干扰点位把握。后来尝试了更深一点的技术手段，通过测量商品和摄像头之间的位置，测量出坐标系，让摄像头做匀速运动，然后根据矩阵反算物品所在的坐标。这个算法中存在几个问题，一是每个摄像头的变换矩阵都不相同，每换一个摄像头需要重新计算其变换矩阵；另外摄像头向前推进时，尽管可以计算出商品的矩阵位置，但商品实际可能被其他物品所遮挡，这种情况是无法解决的。在实际应用中，坐标系的误差在1-2厘米左右，但是每次摄像头变化时，需要重复之前的工作，更为重要的是无法处理商品遮挡的问题。
经过反复尝试摸索，最后得到一种成本和精确度都较高的方式。在播放视频时，采用鼠标跟踪商品，记录鼠标的位置，即可完成商品的标定，基本上一个场景十分钟左右就可以完全标定。
标定和聚焦标定点之后，就可以进行商品展示了，它看上去类似于一个3D模型，但其实不是，它是一系列图片的序列组合，大概是60帧左右的图片。
这其中我们做了几件事情：一是将商品拍成图片，然后将每张图片的周边扣成透明（这其中采用一些辅助的手段，如滤幕抠图等），使得图片与背景能够完美地融合在一起。
最后共上架150个商品，消费者与商品之间的交互做到了水平方向的360度交互。
支付链路闭环
Buy+的交易系统是支付宝团队一起设计完成的。上图是支付宝交易最后一步的界面，基本上完成了传统电商的基础交易功能。Buy+的交易系统有两个版本：在全景单屏操作中不存在VR交易，而是采用传统的支付手段，这是因为在这个场景中已经存在手动操作屏幕，传统的交易效率更高；在分屏，带上眼镜之后，消费者需要在一个相对沉浸的环境去体验整个过程，因此采用的VR版支付，也就是现在支付宝中的VR Pay，已大规模推广。
VR购物和传统购物的差别
VR购物和传统购物还是存在很多差别的，VR购物能采集到的维度和数据会比传统电商多的多。传统电商是根据浏览记录和点击历史分析消费者的购物兴趣和热点，而VR购物更多的是分析消费者的视线聚焦的位置和关注的区域，形成热力图数据，如上图所示：红色（偏深色）的区域是用户看的比较多的，黄色的区域是用户视线聚焦比较多的，这些数据采集之后，可以反哺线下商品的位置摆放，更为精准的捕获用户的需求。
造物神计划
随着VR行业的发展，未来的BUY+也会有更多的想象空间。但BUY+只是一种购物的形态，它的发展依赖整个淘宝的3D化进程，后续在虚拟环境、虚拟购物中，无论是AR还是VR，都会用到3D模型去描述商品或整个环境，因此为了将来可以有一个更好的购物体验环境，阿里启动了造物神计划，主要的方向就是降低3D模型制作的成本。
从上图可以看大致互联网媒体升级的过程，首先是文本；然后是图品、视频；再到交互式内容。从文字到图片，促进浏览量上升了94%，转换率升高了54%，销售额增加了35%；从图片到视频，又增加了97%的购买意向和30%的销售影响；从视频升级到3D、VR/AR可交互内容，将会增加四倍左右的产品互动，增加10%—30%的购买转换以及提升45%的购买意向。由于生产3D、VR/AR等内容的成本高，制作复杂，实现门槛较高，现阶段无法一步实现从视频到可交互内容的转变。
但媒体内容形式的进化从未停止，未来一定会有AR/VR的发展机会，需要我们产生更多的优质内容区填充将来的AR/VR实践。
目前手机淘宝中已经开始了一些媒体的变化，如上图左侧的3D模型，消费者可以进行任意的操作，而且目前已上线。右上角是全景店铺，通过更加接近实体的方式描述店铺，类似于Buy+，消费者可以感受到店铺内的具体商品；右下角是新型的营销方案，采用VR全景视频让商家的营销手段变得更为丰富。
通过造物神计划，阿里希望有更多的开发者和ICV厂家同我们一道开发、设计3D模型，然后将媒体升级的步骤往前推进一步，从传统的图片、视频进入表现能力更为丰富的3D世界。
关于分享嘉宾：
胡晓航（宋五），淘宝无线技术专家。淘宝VR&AR业务负责人，主要负责Buy+和造物神计划。前几年是做营销互动，主要负责双十一的互动项目，如红包雨、红包裂变、密令红包等。在高并发项目、红包以及虚拟业务方面有比较深的积累。