NVIDIA通过集成NIM和NeMo Guardrails增强AI安全性
realtime news Aug 06, 2024 04:18
NVIDIA推出NIM和NeMo Guardrails，以确保安全和合规的生成式AI部署，增强其可信赖性和安全性。
随着企业越来越多地采用由大型语言模型（LLMs）驱动的生成式AI应用，对强大安全性和合规性措施的需求也变得前所未有的重要。据NVIDIA技术博客报道，NVIDIA推出了两个关键工具来应对这些挑战：NVIDIA NIM 和 NVIDIA NeMo Guardrails。
确保可信赖的AI
NVIDIA NeMo Guardrails提供编程轨道，旨在确保AI应用的可信赖性、安全性和安全性。这些轨道有助于减轻与LLMs相关的常见漏洞，确保AI在定义的安全参数内运行。
除了构建更安全的应用程序外，NVIDIA还强调了安全、高效和可扩展的部署过程的重要性，以充分释放生成式AI的潜力。这就是NVIDIA NIM发挥作用的地方。
NVIDIA NIM介绍
NVIDIA NIM为开发人员提供了一套微服务，旨在跨不同环境（包括数据中心、工作站和云）安全可靠地部署高性能AI模型推理。NIM是NVIDIA AI Enterprise套件的一部分，提供了行业标准的API，便于与应用程序和流行开发工具快速集成。
将NeMo Guardrails与NIM微服务集成允许开发人员构建和部署受控的LLM应用程序，具有更高的准确性和性能。NIM支持LangChain和LlamaIndex等框架，并无缝集成了NeMo Guardrails生态系统，包括第三方和社区安全模型和轨道。
NIM与NeMo Guardrails的集成
为了说明集成，NVIDIA博客提供了一个详细指南，介绍了如何部署两个NIM微服务：一个NVIDIA NeMo Retriever嵌入NIM和一个LLM NIM。两者都集成了NeMo Guardrails以防止恶意活动，例如通过与个人数据相关的查询进行用户账户入侵尝试。
示例使用Meta Llama 3.1 70B Instruct模型作为LLM NIM，并使用NVIDIA Embed QA E5 v5模型作为嵌入NIM。NeMo Retriever嵌入NIM将每个输入查询转换为嵌入向量，以便有效地与轨道策略进行比较，确保不提供未经授权的输出。
定义使用案例
集成演示了如何使用主题轨道拦截与个人数据相关的来访用户问题。这些轨道确保LLM响应遵循不分享敏感信息的主题。在回答用户问题之前，它们还会进行事实核查，保持响应的完整性和准确性。
使用NIM设置护栏系统
为了设置护栏，开发人员需要确保他们的NeMo Guardrails库是最新的。配置涉及在config.yml文件中定义NIM并在flows.co文件中添加对话轨道。NVIDIA提供的示例脚本包括向用户问好并拒绝响应有关敏感数据查询的对话轨道，从而保护用户隐私。
测试集成
测试集成涉及通过护栏向LLM NIM发送查询。例如，一个问候查询被护栏拦截，并以预定义的对话进行响应。关于入侵个人账户的查询会被阻止，证明护栏在防止未经授权行为方面的有效性。
结论
通过将NIM微服务与NeMo Guardrails集成，NVIDIA提供了一种安全高效地部署AI模型的强大解决方案。这种集成确保AI应用程序遵守安全和合规标准，防止滥用并增强可信赖性。
开发人员可以在NVIDIA GitHub页面上探索完整教程和其他资源。对于更全面的护栏系统，NVIDIA建议查看NeMo Guardrails库，并尝试各种类型的轨道以定制不同的使用案例。
Image source: Shutterstock