NVIDIA 推出了增强空间智能的深度学习框架 fVDB

NVIDIA 发布了其新的深度学习框架 fVDB，旨在从真实世界的 3D 数据构建空间智能。根据 NVIDIA 技术博客，fVDB 旨在解决使用各种库拼接空间智能带来的低效和性能瓶颈问题。

空间智能的挑战

生成物理 AI 模型需要空间智能来理解和导航物理世界的三维空间。传统上，开发人员必须使用不同的库拼接空间智能框架，导致出现漏洞、低效和性能瓶颈。

引入 fVDB

NVIDIA 的 fVDB 框架旨在处理稀疏、大规模和高性能的空间智能。利用 OpenVDB（用于高效存储和模拟稀疏体积数据的行业标准），fVDB 将深度学习操作与 NVIDIA 的 GPU 加速的 OpenVDB 实现 NanoVDB 集成。

fVDB 是 PyTorch 的开源扩展，支持对大规模 3D 数据进行完整的深度学习操作。主要功能包括兼容现有的 VDB 数据集、用于神经网络训练、光线追踪和渲染的统一 API，以及更快、更可扩展的性能。

fVDB 的应用

fVDB 已经被 NVIDIA Research、NVIDIA DRIVE 和 NVIDIA Omniverse 团队使用。著名应用包括：

• 表面重建：神经内核表面重建（NKSR）利用 fVDB 从大规模点云重建高保真表面。
• 生成式 AI：XCube 将扩散生成模型与稀疏体素层次结构结合，使得高空间分辨率的 3D 场景生成成为可能。
• NeRFs：NeRF-XL 使用 fVDB 在多个 GPU 上分布神经辐射场，用于大规模 3D 渲染。

未来发展

NVIDIA 计划将 fVDB 功能集成到 NVIDIA NIM 微服务中，使开发人员能够在 NVIDIA Omniverse 内将 fVDB 集成到通用场景描述（OpenUSD）工作流中。

即将推出的 NVIDIA NIM 微服务包括 fVDB 网格生成、fVDB 物理超分辨率和 fVDB NeRF-XL，它们将使用 Omniverse 云 API 生成基于 OpenUSD 的几何体。

结论

由 NVIDIA 开发的 fVDB 是一个开创性的深度学习框架，用于稀疏、大规模的空间智能。它以 OpenVDB 为基础，支持数字孪生、神经辐射场和 3D 生成式 AI 等应用。

更多详情，请访问 NVIDIA 官方公告。