近年来，3D可视化产品预览在电商、零售领域应用的越来越多。对于线上购物者来讲，3D可视化的产品模型可以让他们在任何浏览器中从多个角度查看产品细节，不需要亲临实体店就能进一步了解产品。

而且因看好3D可视化应用在时尚、家居、汽车、房产等零售行业的应用潜力，Adobe、Facebook、Houzz、宜家、京东、谷歌、高通、微软、三星、NVIDIA等公司成立了一个3D可视化开放联盟，旨在探索实时3D产品模型在移动端、网页端、AR或VR等平台开发与分发的统一标准。

不过目前传统3D成像方法还存在一些痛点，阻碍了这项技术在零售业的普及，比如：依赖激光扫描硬件和设计师人工润色，而且需要在多个视角进行密集采样，因此制作成本高，时间也久，同时也没有对制作高质量3D成像的完整指导方案，于是很多商家更倾向于2D产品图而不是3D模型。

为了解决这些痛点，3D成像公司Fyusion打造了一款基于深度学习网络和光场技术的低成本3D成像方案，可以让你用手机拍几张照片就能生成3D图像。

据了解，这项新的3D成像方案名为immersive3D，该公司称，其通过深度学习网络可将摄像头捕捉到的多个不同视角渲染成复杂的3D场景。原理是，用户在几个不规则的视角进行采样，接着深度学习算法会通过多平面图像（MPI）表示的方法，将每个采样视角扩展成本地光场，然后融合相邻的本地光场，以达到3D视图合成的效果。

此外，Fyusion根据传统全光采样理论得出了一个采样指南，帮助用户了解正确采样所需要的视角数量。在Demo演示中，Fyusion展示了一款基于immersive3D算法的手机app，用户可将手机与叠加在真实环境中的AR方框对齐，然后拍照，在完成多个视角的拍摄后，app便能生成该场景的3D图像，你可以将它导出并在电脑上观看。

Fyusion称，immersive3D的3D成像效果从感官上与奈奎斯特速率视图采样接近，但却只需要1/4000的采样数量。

近期，Fyusion宣布将于今年SIGGRAPH展示这项成果，并于近期公开了关于该技术的详细论文，接下来就和青亭网一起看看它到底是怎么实现的吧。

论文中指出，基于图像的渲染（IBR）是用采样图为物品和场景的合成新视角所需要的关键技术，Fyusion认为根据不同场景使用特定IBR算法，有助于减少3D成像所需的采样规模。同时，未来如果将immersive3D技术用于具备光场捕捉的硬件，还能减少采样所需的摄像头数量。

此外，论文还写道，为了达到降采样目的，科研人员利用算法，通过5个视角来预测同一场景的MPI（多平面图像表示）的深度学习算法。用每个MPI代表一个本地光场/视角，然后再训练深度学习算法来融合和优化相邻的MPI。科研人员还使用了一个3D卷曲神经网络架构，它能够根据输入视角的采样率来适时调整所需的深度平面。

在训练试图合成算法的过程中，科研人员将两套5个视角的采样用作输入数据，同时使用一个目标试图作为监督。科研人员首先用MPI预测算法用每5个视角来分别预测两个MPI，然后在分别通过两个MPI来渲染新的目标视角，然后再将两个视角融合。整个训练过程省去了图像重建的过程。

科研人员在算法的渲染过程中采用OpenGL API，渲染后的图像可在桌面浏览器上以1000x700分辨率和60 fps刷新率播放，而在iOS端查看的分辨率可达500x350，刷新率达30 fps。

据悉，Fyusion科研人员曾将这项技术用来渲染超过60种复杂的真实场景，号称效果超过此前的成像方案，还表示immersive3D有望推动基于图像的渲染方案在未来的发展。

的确，如果未来这种低成本、使用简便的端对端3D成像方案能够商业化，那么将有望加速3D可视化在零售、电商领域的普及，这对于企业和消费者来讲都是一件好事。同时，3D可视化在逐渐普及后，也有助于让市场开始接受AR可视化技术，为未来的AR眼镜/头显铺路。本文系青亭网翻译自：Fyusion，arXiv