Instruct-NeRF2NeRF，这个AI模型可以让用户通过文本编辑3D场景

来源：站长之家　2023-04-19 15:48:49

编程客栈（python）4月19日消息:Instruct-NeRF2NeRF 使用生成式 AI 模型的方法，可以根据文本输入编辑3D 场景。

今年早些时候，加州大学伯克利分校的研究人员展示了InstructPix2Pix，这是一种允许用户使用文本指令在 Stable Diffusion 中编辑图像的方法。例如，该方法可以替换图像中的对象或更改样式。

InstructPix2Pix项目网址：https://huggingface.co/spaces/timbrooks/instruct-pix2pix

(相关资料图)

注：文中图片均来自InstructtaDmkEZY-NeRF2NeRF 项目视频案例截图

现在一些研究人员已经将编程客栈他们的方法应用于编辑 NeRFs。Instruct-NeRF2NeRF 从经过训练的 NeRF 和用于训练的图像开始，可以根据文本提示一张一张地编辑训练图像，并使用这些编辑后的图像重新训练 NeRF。

注:NeRF（Neural Radiance Field，神经辐射场）模型是一种利用多层感知器(MLPs)进行隐式神经场景体绘制的新型视图合成方法。到目前为止，NeRFs主要用作3D模型和3D场景的一种神经存储介质，然后可以从不同的相机视角进行渲染。

Instruct-NeRF2NeRF 支持简单物体和真实场景

该团队展示了如何使用这种方法给头部戴上牛仔帽、将其变成3D 油画、将其变成蝙蝠侠或将其变成爱因斯坦等。

其它的例子还有改变自然拍摄的季节、时间或天气;改变一个人的衣服。

该团队称，该方法“能够编辑大规模、真实世界的场景，并且能够比之前的工作完成更逼真、更有针对性的编辑。”

Instruct-NeRF2NeRF 根据迭代编辑的图像更新 NeRF。此任务由 InstructPix2Pix 执行，它以文本输入为条件。

Instruct-NeRF2NeRF 需要10到15GB 的显存

该团队正在发布三个不同版本的 Instruct-NeRF2NeRF，它们需要15到10GB 的 RAM 视频内存。最大的版本提供最佳的结果。

这编程客栈种新方法将AI技术应用于3D场景处理，可以实现更准确的编辑操作，并为研究提供了新的可能性。这种模型有利于加速图形处理领域的创新，为人类创造更好的视觉体验提供了新的思路。

Instruct-NeRF2NeRF 项目页面上提供了更多示例、代码和模型。

Instruct-NeRF2NeRF项目网址:

推荐DIY文章

精彩新闻