NVIDIA推出fVDB框架以增强数字世界模型

realtime news  Jul 30, 2024 16:19  UTC 08:19

1 Min Read

NVIDIA宣布推出fVDB,这是一款深度学习框架,旨在生成现实世界的AI就绪虚拟表示。据NVIDIA博客报道,这一消息是在SIGGRAPH——一个重要的计算机图形和互动技术会议上公布的。

革新数字表示

fVDB建立在行业标准库OpenVDB的基础上,该库用于模拟和渲染稀疏体积数据,有望显著增强虚拟环境的创建。这些环境对于训练AI在各种应用中至关重要,包括自动驾驶、气候科学和智慧城市。

OpenVDB在模拟水、火、烟雾和云等元素方面发挥了重要作用。通过利用这一技术,fVDB可以捕捉现实世界环境的宏大规模和精细细节,并将其转换为AI就绪数据,实时渲染。这一能力对于开发生成式物理AI(如机器人和自动驾驶车辆)至关重要,因为它们需要对3D空间有深入理解。

技术进步和应用

该框架基于OpenVDB十年的创新,推出了改进功能,使各行业可以从现实世界的数字孪生中受益。这些虚拟环境被用于训练自主代理,捕捉城市规模的3D模型以进行气候科学研究和城市规划等用途。

fVDB在NanoVDB之上集成了NVIDIA加速的AI操作符,NanoVDB是一种用于高效3D模拟的GPU加速数据结构。操作符包括卷积、池化、注意力和网格化,旨在实现高性能3D深度学习应用。此发展使企业能够构建复杂的神经网络用于空间智能,包括大规模点云重建和3D生成建模。

fVDB的主要优势

  • 更大: 空间规模比以前的框架大4倍。
  • 更快: 处理速度快3.5倍。
  • 互操作: 充分利用大规模现实世界数据集,以VDB数据集实时渲染到全尺寸3D环境中。
  • 更强大: 操作符数量是以前框架的10倍,简化复杂过程,通过结合之前需要多个深度学习库的功能来达成目标。

未来整合和可用性

fVDB将很快作为NVIDIA NIM(NVIDIA推理微服务)的一部分提供。这些微服务将使企业能够将fVDB整合到OpenUSD工作流中,在NVIDIA Omniverse中生成AI就绪的OpenUSD几何体,这是一个用于工业数字化和生成式物理AI应用的平台。微服务包括:

  • fVDB网格生成NIM——生成现实世界的数字3D环境。
  • fVDB NeRF-XL NIM——利用Omniverse Cloud API在OpenUSD中生成大规模NeRFs。
  • fVDB物理超分NIM——执行超分辨率生成高分辨率物理模拟基于OpenUSD。

OpenVDB的持续创新

在过去的十年里,OpenVDB作为视觉效果行业的核心技术赢得了多个奥斯卡奖,并扩展到工业和科学应用领域。四年前,NVIDIA推出了NanoVDB,为OpenVDB增加了GPU支持,提高了性能和实时模拟与渲染的速度。两年前,公司推出了NeuralVDB,将机器学习融入其中,显著压缩VDB体积的内存占用。

fVDB代表了最新的进展,将AI操作符构建在NanoVDB之上,使其能够在现实规模上解锁空间智能。有兴趣的人士可以申请fVDB PyTorch扩展的早期访问计划。该框架也将通过OpenVDB GitHub仓库提供。



Read More