NVIDIA和Infosys通过AI解决方案革新电信网络运营
realtime news Jul 23, 2024 15:38
Infosys利用NVIDIA NIM和NeMo Retriever提升电信网络运营，减少61%的延迟并提高22%的准确性。
电信公司面临着持续满足服务水平协议（SLA）的挑战，以确保网络质量并快速解决复杂的网络问题。这一挑战往往导致网络停机时间延长，影响运营效率和客户体验。
Infosys开发了一种使用NVIDIA NIM和NVIDIA NeMo Retriever的生成式AI解决方案，以解决这些问题。该解决方案旨在通过自动化网络故障排除、最小化停机时间和优化性能来简化网络运营中心（NOCs）。
通过生成式AI构建智能网络运营中心
Infosys是全球数字服务的领导者，已使用生成式AI客户参与平台建立了一个智能NOC。该平台通过提供用于诊断和监控的关键无供应商依赖的路由器命令，来帮助NOC操作员、网络管理员和IT支持人员。这个智能聊天机器人减少了平均解决时间并提升了客户服务。
向量嵌入和文档检索的挑战
Infosys在开发聊天机器人时遇到了几大挑战，包括在高准确性和低延迟之间取得平衡，解决特定于网络的分类法和复杂设备文档问题。向量嵌入过程的耗时以及LLM的延迟问题也是重要障碍。
数据收集和准备
为克服这些挑战，Infosys建立了一个包含网络设备手册和知识文献的向量数据库。最初集中于Cisco和Juniper Networks的设备。定制嵌入模型和微调参数填充了向量数据库，以确保对用户查询的准确和上下文响应。
解决方案架构
Infosys的解决方案架构包含几个关键组件：
- 用户界面和聊天机器人： 使用React开发了一个直观的界面，用于定制聊天机器人和高级查询脚本。
- 数据配置管理： 提供了使用NVIDIA NeMo Retriever进行分块和嵌入的灵活设置。
- 向量数据库选项： 实现了如FAISS的选项，用于高速数据检索。
- 后端服务和集成： 创建了强大的后端服务，包括用于与外部系统集成的RESTful API。
- 与NIM的集成： 使用NIM微服务提升准确性和性能。
- 配置： 使用了10个NVIDIA A100 80-GB GPU、128个CPU核和1TB存储。
- 护栏： 使用了NVIDIA NeMo Guardrails以增加安全性和可靠性。
使用NVIDIA NIM和NeMo Guardrails的AI工作流程
Infosys使用了自托管的NVIDIA NIM和NeMo实例来微调和部署基础LLM。NeMo Retriever驱动了向量数据库检索和重排序工作流程，使企业能够将自定义模型连接到业务数据并提供准确的响应。更多信息请参见 NVIDIA的博客。
使用NeMo Retriever和NV-Embed-QA-Mistral-7B，Infosys在文本嵌入模型中实现了超过90%的准确性。该模型在各种任务中表现出色，提升了准确性和性能。
结果
Infosys测量了使用和不使用NVIDIA NIM的LLM延迟和准确性。不使用NIM时，LLM延迟为2.3秒，而使用NIM将其减少至0.9秒——改善了61%。通过集成NeMo Retriever嵌入和重排序微服务，准确性从70%提高到92%。
结论
通过集成NVIDIA NIM和NeMo Retriever，Infosys显著提升了其智能NOC的性能和准确性。这些改进简化了网络故障排除，减少了停机时间，并优化了整体网络性能。
了解更多关于Infosys如何通过NVIDIA推动的自动化工作流程消除网络停机的详情，请访问NVIDIA的官方博客。
Image source: Shutterstock