编译/VR陀螺
英伟达新的AI模型GET3D旨在加快3D内容的创建速度。该模型可以在几秒钟内输出许多纹理的3D网格,可以在标准图形引擎中无缝使用,而这只需要一张2D图像作为输入即可。
GET3D是"GenerateExplicitTextured3D(生成显性纹理三维)"的缩写,是一种生成性3D模型,可以合成任何拓扑结构的高质量3D多边形网格。一张二维图像就足以作为生成过程的输入。
图源:Nvidia
生成的多边形网格由带纹理的三角形组成,这是一种标准格式,可以无缝导入3D程序、游戏引擎或电影渲染器。
3D对象在导入后是完全可编辑的,例如,可以进行缩放、旋转和照明。通过英伟达的StyleGAN-Nada,开发人员可以进一步改变3D模型的形状或纹理,只需使用文本命令,例如,将传统汽车转变为警车。
从合成的2D图像生成3D模型
英伟达的研究团队开发了一个两步的生成过程。几何分支生成具有任何所需拓扑结构的多边形网格。纹理分支则会生成一个纹理字段,该字段可以表示颜色,例如,多边形网格表面点处的特定材料。
最后,与GA网络一样,鉴别器根据3D模型的合成照片评估输出的质量,并不断优化它以匹配目标图像。
GET3D是用大约100万张不同角度的3D模型的合成2D图像进行训练的。据英伟达称,在英伟达A100GPU上训练需要花费大约2天时间。
GET3D加速了3D内容的进程
GET3D能够生成的3D模型取决于训练数据。例如,如果你用合成的汽车或动物图像训练系统,它可以生成3D汽车或动物。英伟达表示,训练数据集越大、越多样化,生成的3D模型就越详细、越多样化。
图源:Nvidia
据英伟达称,在一个现成的英伟达GPU上,该模型在训练后每秒可以生成大约20个形状,这些形状组合起来就形成了一个3D模型。生成过程在用户的计算机上进行,因此不受内容限制,如云端人工智能服务中已知的那些限制。
"GET3D使我们离AI驱动3D内容创作的普及化更近了一步,"英伟达在多伦多的研究实验室负责人SanjaFidler说道,该工具就是在那里开发的。
据英伟达的研究团队称,GET3D的一个限制是,目前只能用已知相机位置的合成图像的2D剪影进行训练。在未来的版本中,相机位置预估的进展可能会成为使用真实图像进行训练的基础。
目前,GET3D也只能按类别进行训练。跨类别的模型可以增加生成的3D模型的种类,提高系统的灵活性。
作为一个开源模型,GET3D可以在Github上免费使用。
来源: