NVIDIA推出fVDB框架以增强数字世界模型

NVIDIA宣布推出fVDB，这是一款深度学习框架，旨在生成现实世界的AI就绪虚拟表示。据NVIDIA博客报道，这一消息是在SIGGRAPH——一个重要的计算机图形和互动技术会议上公布的。

革新数字表示

fVDB建立在行业标准库OpenVDB的基础上，该库用于模拟和渲染稀疏体积数据，有望显著增强虚拟环境的创建。这些环境对于训练AI在各种应用中至关重要，包括自动驾驶、气候科学和智慧城市。

OpenVDB在模拟水、火、烟雾和云等元素方面发挥了重要作用。通过利用这一技术，fVDB可以捕捉现实世界环境的宏大规模和精细细节，并将其转换为AI就绪数据，实时渲染。这一能力对于开发生成式物理AI（如机器人和自动驾驶车辆）至关重要，因为它们需要对3D空间有深入理解。

技术进步和应用

该框架基于OpenVDB十年的创新，推出了改进功能，使各行业可以从现实世界的数字孪生中受益。这些虚拟环境被用于训练自主代理，捕捉城市规模的3D模型以进行气候科学研究和城市规划等用途。

fVDB在NanoVDB之上集成了NVIDIA加速的AI操作符，NanoVDB是一种用于高效3D模拟的GPU加速数据结构。操作符包括卷积、池化、注意力和网格化，旨在实现高性能3D深度学习应用。此发展使企业能够构建复杂的神经网络用于空间智能，包括大规模点云重建和3D生成建模。

fVDB的主要优势

• 更大： 空间规模比以前的框架大4倍。
• 更快： 处理速度快3.5倍。
• 互操作： 充分利用大规模现实世界数据集，以VDB数据集实时渲染到全尺寸3D环境中。
• 更强大： 操作符数量是以前框架的10倍，简化复杂过程，通过结合之前需要多个深度学习库的功能来达成目标。

未来整合和可用性

fVDB将很快作为NVIDIA NIM（NVIDIA推理微服务）的一部分提供。这些微服务将使企业能够将fVDB整合到OpenUSD工作流中，在NVIDIA Omniverse中生成AI就绪的OpenUSD几何体，这是一个用于工业数字化和生成式物理AI应用的平台。微服务包括：

• fVDB网格生成NIM——生成现实世界的数字3D环境。
• fVDB NeRF-XL NIM——利用Omniverse Cloud API在OpenUSD中生成大规模NeRFs。
• fVDB物理超分NIM——执行超分辨率生成高分辨率物理模拟基于OpenUSD。

OpenVDB的持续创新

在过去的十年里，OpenVDB作为视觉效果行业的核心技术赢得了多个奥斯卡奖，并扩展到工业和科学应用领域。四年前，NVIDIA推出了NanoVDB，为OpenVDB增加了GPU支持，提高了性能和实时模拟与渲染的速度。两年前，公司推出了NeuralVDB，将机器学习融入其中，显著压缩VDB体积的内存占用。

fVDB代表了最新的进展，将AI操作符构建在NanoVDB之上，使其能够在现实规模上解锁空间智能。有兴趣的人士可以申请fVDB PyTorch扩展的早期访问计划。该框架也将通过OpenVDB GitHub仓库提供。