NVIDIA发布RTX AI PC的新语言模型

据NVIDIA透露，NVIDIA宣布了一系列旨在增强数字人能力的小型语言模型（SLMs）。这些模型是NVIDIA ACE的一部分，这是一套设计用于赋予代理、助手和虚拟形象生命的技术，利用RTX AI PC的强大功能。

引入多模态能力

新模型包括NVIDIA Nemovision-4B-Instruct，这是一种多模态SLM，允许数字人解释视觉图像并提供上下文相关的响应。通过最新的NVIDIA VILA和NeMo框架构建，这些模型在多个NVIDIA RTX GPU上进行了性能优化，保持了开发人员所需的高精度水平。

大上下文语言模型

NVIDIA的新大上下文SLMs旨在处理庞大的数据输入，促进复杂提示的理解。Mistral-NeMo-Minitron-128k-Instruct系列，提供8B、4B和2B参数版本，在NVIDIA RTX AI PC上平衡速度、内存使用和精度。这些模型可以在单次处理过程中处理大量数据，减少数据分割的需要，从而提高精度。

Audio2Face-3D NIM的增强

NVIDIA还更新了其Audio2Face-3D NIM微服务，以提高面部动画的真实性，这对于真实的数字人交互至关重要。该微服务现在支持实时的唇同步和面部动画，通过单个可下载的优化容器增强了自定义选项。

简化RTX AI PC上的部署

在RTX AI PC上部署数字人需要高效协调动画、智能和语音AI模型。NVIDIA正在引入新的SDK插件和示例，以简化设备上的工作流程，包括NVIDIA Riva自动语音识别和由Audio2Face-3D驱动的Unreal Engine 5示例应用程序。这些工具是NVIDIA In-Game Inference SDK的一部分，目前可用于测试版，通过管理模型和依赖资源下载并启用混合AI操作来简化AI集成。

对这些改进感兴趣的开发人员可以通过NVIDIA Developer平台获取这些工具。