普林斯顿Infinigen矩阵开启!AI造物主100%创造大自然,逼真到炸裂|CVPR 2023_快看点

矩阵世界是AI精心设计的模拟世界!普林斯顿用Infinipythongen这把钥匙,打开矩阵大门,AI生成的大自然比真实世界还真!

尼奥在「黑客帝国」中发现自己生活的世界并非真实存在,而是被精心设计的模拟现实。

而你,有没有那么一瞬间,认为我们生活的世界,就是模拟的矩阵世界。


(相关资料图)

而现在,矩阵正式开启。

静心感受,这个人类生存已久的地球,大自然的一切,都是虚幻世界。

北极冰川太阳升起。海底世界中的千奇百怪的鱼群、五彩斑斓dxQseYKKm的珊瑚礁。

高山飞雪,老鹰在浩瀚无垠的天空中翱翔。炽热沙漠,凶险的蛇自由穿梭。

河边小树,燃起熊熊烈火,烟雾缭绕。

清澈见底的大海和小溪,海龟在沙滩慵懒地晒着太阳,许多蜻蜓在空中嬉戏。

岩洞中光与影的变幻。

哗哗坠落的雨滴、随风飘落的枫叶,时间瞬间戛然而止。

你所见皆是人工智能设计的。它们的模拟是如此逼真,甚至被所有人误认为是现实本身。

打开这扇矩阵大门的团队来自普林斯顿,研究一出瞬间在网上瞬间引起轩然大波。

网友纷纷表示,原来我们生活在矩阵中!

论文中,研究人员引入了一个自然世界的逼真3D场景程序生成器「Infinigen」。

Infinigen完全是程序化的,从形状到纹理,都是通过随机的数学规则从头开始生成。

甚至,还能变换无穷,覆盖了大自然界的植物、动物、地形,还有火、云、雨和雪等自然现象。

最新论文已被CVPR2023接收。

论文地址:https://arxiv.org/pdf/2306.09310.pdf

Infinigen建立在免费和开源的图形工具Blender上,同样Infinigen也是开源的。

值得一提的是,3.5个小时就能生成一对1080p的图像!

无限CV数据生成器

普林斯顿大学提出的Infinigen可以轻松定制,生成各种特定任务的真实情况。

如下,模拟大自然界中的多样性。

而它最主要的作用就在于,能够作为作为无限训练数据的生成器,用于广泛的计算机视觉任务。

其中,包括 目标检测、语义分割、姿态估计、3D重建、视图合成和视频生成。

此外,它还可以用于构建训练物理机器人,以及虚拟具身智能体的模拟环境。

当然了,3D打印、游戏开发、虚拟现实、电影制作和一般的内容创作都可用。

接下来,看看Infinigen系统是如何被设计出来的。

Blender的预演。

研究人员主要使用Blender开发程序化规则,Blender是一个开源的三维建模软件,提供各种基元和实用工具。

Blender将场景表现为摆放对象的层次结构。

而用户通过转换对象、添加基元和编辑网格来修改这一表示。

Blender提供了大多数常见3D文件格式的导入/导出。

最后,Blender中的所有操作都可以通过其python API自动完成,或者通过检查其开php源代码。

节点转译器。

作为Infinigen的一部分,研究人员开发了一套新的工具来加速研究人员的程序化建模。

一个值得注意的例子是研究人员的节点转换器,它可以自动将节点图转换为Python代码,如图所示。

由此产生的代码更加通用,并允许研究人员随机化图形结构,而不仅仅是输入参数。

这个工具使结点图更具表现力,并允许与其他直接用Python或C++开发的程序化规则轻松整合。

它还允许非程序员通过制作节点图为Infinigen贡献Python代码。

生成器子系统。Infinigen是由生成器组成的,生成器是概率程序,每个程序都专门用于生成一个子类的资产(如山或鱼)。

每个发生器都有一套高级参数(如山的整体高度),反映了用户可控制的外部自由度。

在默认情况下,研究人员根据为反映自然界而调整的分布对这些参数进行随机抽样,没有用户的输入。

然而,用户也可以使用研究人员的Python API覆盖任何参数,以实现对数据生成的细粒度控制。

下图是随机的、且仅包含地形的场景。研究人员为各种自然场景类型选择了13张图片。

分别为:山脉、上涨的河水、雪山、海岸日出、水下、北极冰山、沙漠、android洞穴、峡谷和浮岛。

下图则是随机生成的模拟火焰的图片,包括烟雾、瀑布,以及火山喷发的场景。

树叶、鲜花、蘑菇、松果。

树木、仙人掌、灌木。

海洋生物。

各种类型的地表。

下图则是生物的生成。

研究人员自动生成了不同基因组(a)、身体部位(b)、身体部位拼接(c)、毛发(d)和体态(e)。

图片右侧则是研究人员展示的随机生成的食肉动物、食草动物、鸟类、甲虫和鱼类。

在下图中,研究人员按程序组成一个随机的场景布局(a)。

研究者生成所有必要的图片内容(b,用来显示每个网格面的颜色),并应用程序化材料和位移(c)。

最后再渲染一个真实的图像(d)。

下图展示的是动态分辨率缩放。

研究人员展示了三个相机距离不同,但内容相同的特写网格可视化视图。

尽管网格分辨率不同,但在最终的图像中看不到任何变化。

实验结果

为了对Infinigen进行评估,研究人员制作了30K的图像对,这些图像有用于矫正立体匹配的地面实景。

研究人员在这些图像上开始训练RAFTStereo,并在Middlebury验证集和测试集上对结果进行了比较。

这项研究代码在今天刚刚公布,已经收揽99颗星。

「西部世界」既视感

英伟达科学家Jim Fan表示,当我们在现实中没有好的训练数据时,模拟是便下一个「金矿」。

这里,Infinigen便是一个开源的、程序化生成的、用于3D视觉的逼真数据集。其质量是惊人的!没有两个世界是相同的。

▸ 每一个小细节都是随机和可定制的,甚至是花瓣上的褶皱!

▸ 自然界的各种物体和场景:植物、动物、地形;火、云、雨和雪。

▸ 基准真实值自动注释:光流、三维场景流、深度、表面法向量、全景分割、封闭边界。

▸ 用Blender编写。

有网友表示,这真是让我大开眼界。在Blender中程序化生成3D世界。不使用AI,就可以创建任何你能想象的世界。

结合像这样的工具来创造世界,像Daz3D这样的工具来创造角色,blockade Labs来创造天空盒,Convai来创造NPC。

还有人表示Infinigen将在人工智能计算机视觉研究中发挥作用。

他认为未来人工智能将handle所有一切。

比如,我们想在一个有雾的森林里面做一个有瀑布的村庄。

我们告诉一个人工智能写一个关于森林的详细描述,再发送到3D世界生成器。

世界生成后,就可以在村庄里添加人物角色。这些人将由人工智能控制,他们将有互动、对话和记忆。

一种西部世界的赶脚。

另外,有网友称程序生成已经存在了20年(我已经做了15年)。「No Man"s SKy」是5年前技术的一个很好的例子。

Infinigen的亮点在于它生成标记数据。这些数据可用于训练AI。这就很疯狂。

还有网友畅想,在不远的将来,游戏会变得疯狂……「独立」游戏开发者将能够推出一些疯狂的高端内容。

Infinigen生成太过逼真,以至于有人认为这是虚幻引擎生成的。

作者介绍

Alexander Raistrick

Alexander Raistrick是普林斯顿大学计算机系的二年级博士生,导师是Jia Deng。

Lahav Lipson

Lahav Lipson是普林斯顿大学三年级博士生。

他研究重点是为三维视觉构建深度网络,利用关于极线几何的强大假设来实现更好的泛化和测试准确性。

Zeyu Ma

Zeyu Ma是普林斯顿大学视觉与学习实验室的三年级博士研究生。他曾于2020年获得清华大学电子工程学士学位。目前的研究重点是多视图3D重建和程序数据生成。

推荐DIY文章
小鹏汽车亮相2023粤港澳车展 小鹏G6领衔热度
2023 中国国际Mini/Micro-LED产业生态大会在苏州隆重召开,视源受邀进行演讲分享
机械臂造就智能工厂,智能工厂造就未来!
引市场活水,筑人才港湾丨贝壳租房举行“新青年计划”宁波站启动发布会
国产自主GPU架构“天狼星”在北京亮相
小鹏城市NGP开放北京 北京首次迎来城区高阶智驾
精彩新闻

超前放送