NVIDIA Maxine在SIGGRAPH 2024上揭示下一代数字人和远程呈现创新 - Blockchain.News

NVIDIA Maxine在SIGGRAPH 2024上揭示下一代数字人和远程呈现创新

realtime news Jul 30, 2024 04:10

NVIDIA Maxine在SIGGRAPH 2024上推出了在远程呈现和数字人技术方面的突破性进展,展示了Maxine 3D和视频光照技术。

NVIDIA Maxine在SIGGRAPH 2024上揭示下一代数字人和远程呈现创新

在SIGGRAPH 2024上,NVIDIA展示了最新的Maxine AI开发者平台进展,该平台通过NVIDIA AI Enterprise提供。此平台旨在增强音频和视频质量,并实现增强现实效果。

新的功能和增强

NVIDIA宣布Maxine 3D和Maxine视频光照技术即将向早期访问开发者开放,同时Maxine眼睛接触微服务正式投入生产。这些创新旨在为各种应用带来逼真的数字人和沉浸式远程呈现体验。

Maxine 3D与NVIDIA ACE(一套生成性人工智能技术)结合,使用标准视频会议设备实现实时、写实的3D头像。眼睛接触和Audio2Face-2D(也称为语音直播头像)功能现在可通过NVIDIA API目录访问,提供了更好的发现性和试用选项。

突破性技术

Maxine 3D突出了其将2D视频头像输入实时转换为沉浸式3D头像的能力。这项技术与NVIDIA RTX渲染集成,提供逼真的视觉效果,将标准2D视频输入转变为动态3D头像。Looking Glass的联合创始人兼首席执行官Shawn Frayne强调了Maxine在实现物理空间间虚拟传输方面的潜力。

Looking Glass正在与NVIDIA Research合作,使用全息3D显示器创建一个创新的视频会议展示。这一合作利用了NVIDIA RTX 6000 Ada GPU和Maxine 3D,使多个观众能够无需头戴式显示器或眼球追踪即可同时体验真实的3D内容。

增强的可发现性和可访问性

NVIDIA将Maxine功能引入其API目录,开发者可以轻松探索和试用最前沿的能力。这些功能也以NVIDIA NIM微服务的形式提供,为AI部署提供高优化解决方案,带有预构建容器和行业标准API。

作为NVIDIA AI Enterprise软件平台的一部分,这些微服务经过严格的验证、安全更新和企业支持,是企业寻求强大解决方案的理想选择。

高级视频和音频增强

引入了几个新的和增强的功能以改善用户体验:

  • 视频光照
  • 工作室语音
  • 背景噪音消除2.0
  • Maxine托管API

视频光照

目前处于早期访问阶段的Maxine视频光照微服务,使用AI实时匹配前景照明与各种背景和环境。这确保了主体在任何物理环境下都能呈现最佳状态。

工作室语音

最新版本的工作室语音在质量和性能方面有显著改进,使其在实时通讯中具有可行性,并将工作室质量的音频带入日常视频会议设置中。

背景噪音消除2.0

此功能在音频清晰度方面设定了新标准,有效消除背景噪音,同时保留自然的语音质量。结合自动语音识别(ASR)技术时,它特别有用,可以减少转录错误。

赋能开发者和行业

NVIDIA Maxine是一个综合平台,使得为远程呈现和数字人创建下一代应用程序成为可能。它提供了赋能娱乐、游戏、医疗和教育等行业的工具。

随着虚拟影响者、AI助手和数字头像变得越来越普遍,Maxine的技术为创建可信且引人入胜的数字人物奠定了基础。

展望未来

SIGGRAPH 2024展示了NVIDIA Maxine将在数字通信和远程呈现的未来中发挥关键作用。凭借其高级AI能力和对开发者可访问性的关注,Maxine开发者平台有望开启数字空间互动的新可能性。

结合Maxine 3D、先进的视听增强功能和易于集成的API,NVIDIA合作伙伴处于数字人革命的前沿。随着这些技术市场的增长,NVIDIA的创新有望在各个行业推动下一波沉浸式、逼真的数字体验。

欲了解更多信息,请访问NVIDIA官方博客

Image source: Shutterstock