NVIDIA展示在3D沙漠世界创建中的实时生成AI
realtime news Aug 01, 2024 05:59
NVIDIA研究人员在SIGGRAPH上展示了使用NVIDIA Edify的实时生成AI能力，强调了快速3D世界构建。
NVIDIA研究人员展示了在创建沉浸式3D环境中的实时生成AI的惊人能力。在SIGGRAPH 2024的实时演示活动中，他们展示了NVIDIA Edify，一种用于视觉生成AI的多模态架构，如何快速构建详细的3D景观。
加速3D世界构建
演示在这一备受瞩目的图形会议的重要场次中进行，展示了一个由NVIDIA Edify驱动的AI代理如何在短短五分钟内从头开始构建和编辑沙漠景观。这项技术为艺术家提供了助手，大大减少了构思和生成定制次要资产的时间，这些资产否则需要从资源库中获取。
通过大幅缩短构思时间，这些AI技术使3D艺术家更加高效和富有创造力。艺术家可以在几分钟内生成背景资产或360度HDRi环境，而不是花费数小时寻找或创建它们。
从概念到3D场景
创建一个完整的3D场景通常是一个复杂且耗时的任务。但是，在AI代理的支持下，创意团队可以快速实现概念并继续迭代以达到预期效果。在实时演示中，研究人员使用一个AI代理指示一个由NVIDIA Edify驱动的模型生成数十个3D资产，包括仙人掌、岩石和一个牛头骨，并在几秒钟内生成预览。
然后，AI代理使用其他模型创建可能的背景和物体在场景中的布局。演示展示了代理对最后一分钟创意更改的适应性，例如迅速将岩石换成金块。一旦设计方案确定，AI代理生成全质量资产，并使用NVIDIA Omniverse USD Composer将场景渲染为逼真的图像。
NVIDIA Edify的功能
NVIDIA Edify模型通过加速创建背景环境和对象，帮助创作者专注于关键资产，使用AI驱动的场景生成工具。实时演示中展示了两个Edify模型：
- Edify 3D：从文本或图像提示生成可编辑的3D网格，在几秒钟内生成预览，包括旋转动画，帮助创作者快速原型制作。
- Edify 360 HDRi：使用文本或图像提示生成最高16K高清动态范围图像（HDRi）的自然景观，用于背景和场景照明。
演示还展示了一个由大型语言模型驱动的AI代理和USD Layout，一个使用OpenUSD生成场景布局的AI模型。
行业应用
在SIGGRAPH上，NVIDIA宣布领先的创意内容公司正在利用NVIDIA Edify驱动的工具，通过生成AI提升生产力。Shutterstock已推出其生成3D服务的商业测试版，使创作者能够快速使用文本或图像提示原型制作和生成3D资产。基于Edify的360度HDRi生成器也已进入早期访问阶段。
Getty Images已更新其由Getty Images提供的生成AI服务，采用了最新版NVIDIA Edify。用户现在可以在一半的时间内创建图像，同时输出质量和提示符合性得到改善，并提供高级控制和微调功能。
兼容NVIDIA Omniverse
使用Edify模型生成的3D对象、环境地图和布局采用USD格式，这是一种用于描述和构建3D世界的标准格式。这种兼容性使艺术家可以将Edify驱动的作品无缝导入Omniverse USD Composer。在Composer中，艺术家可以通过更改物体位置、外观或调整照明进一步修改场景。
实时演示是SIGGRAPH最受期待的事件之一，展示了包括生成AI、虚拟现实和实时性能捕捉技术的实时应用。
更多详情，请访问NVIDIA博客。
Image source: Shutterstock