NVIDIA 推出了增强空间智能的深度学习框架 fVDB
realtime news Jul 30, 2024 05:46
NVIDIA 的新 fVDB 框架利用深度学习处理大规模 3D 数据，增强物理 AI 应用中的空间智能。
NVIDIA 发布了其新的深度学习框架 fVDB，旨在从真实世界的 3D 数据构建空间智能。根据 NVIDIA 技术博客，fVDB 旨在解决使用各种库拼接空间智能带来的低效和性能瓶颈问题。
空间智能的挑战
生成物理 AI 模型需要空间智能来理解和导航物理世界的三维空间。传统上，开发人员必须使用不同的库拼接空间智能框架，导致出现漏洞、低效和性能瓶颈。
引入 fVDB
NVIDIA 的 fVDB 框架旨在处理稀疏、大规模和高性能的空间智能。利用 OpenVDB（用于高效存储和模拟稀疏体积数据的行业标准），fVDB 将深度学习操作与 NVIDIA 的 GPU 加速的 OpenVDB 实现 NanoVDB 集成。
fVDB 是 PyTorch 的开源扩展，支持对大规模 3D 数据进行完整的深度学习操作。主要功能包括兼容现有的 VDB 数据集、用于神经网络训练、光线追踪和渲染的统一 API，以及更快、更可扩展的性能。
fVDB 的应用
fVDB 已经被 NVIDIA Research、NVIDIA DRIVE 和 NVIDIA Omniverse 团队使用。著名应用包括：
- 表面重建：神经内核表面重建（NKSR）利用 fVDB 从大规模点云重建高保真表面。
- 生成式 AI：XCube 将扩散生成模型与稀疏体素层次结构结合，使得高空间分辨率的 3D 场景生成成为可能。
- NeRFs：NeRF-XL 使用 fVDB 在多个 GPU 上分布神经辐射场，用于大规模 3D 渲染。
未来发展
NVIDIA 计划将 fVDB 功能集成到 NVIDIA NIM 微服务中，使开发人员能够在 NVIDIA Omniverse 内将 fVDB 集成到通用场景描述（OpenUSD）工作流中。
即将推出的 NVIDIA NIM 微服务包括 fVDB 网格生成、fVDB 物理超分辨率和 fVDB NeRF-XL，它们将使用 Omniverse 云 API 生成基于 OpenUSD 的几何体。
结论
由 NVIDIA 开发的 fVDB 是一个开创性的深度学习框架，用于稀疏、大规模的空间智能。它以 OpenVDB 为基础，支持数字孪生、神经辐射场和 3D 生成式 AI 等应用。
更多详情，请访问 NVIDIA 官方公告。
Image source: Shutterstock