NVIDIA 和 Infosys 使用生成式AI自动化电信网络设计
realtime news Jul 23, 2024 16:18
Infosys 集成 NVIDIA NIM 和 NeMo 来简化 TOSCA 模板的生成，从而提高电信网络设计的生产力，减少人为错误。
Infosys 推出了一个创新解决方案，利用 NVIDIA 的 NIM 和 NeMo 技术来自动生成云应用的拓扑和编排规范（TOSCA）模板，显著简化电信无线网络设计流程。根据 NVIDIA 技术博客，这一发展解决了行业对标准化方法的需求，降低了网络设计中的人为错误风险。
利用生成式AI进行网络设计
该解决方案采用生成式AI创建一个标准工具，能够根据网络工程师的提示生成服务设计模板。该自动化工具由 NVIDIA NIM 提供支持，通过简化参数编辑和实时处理用户输入生成定制的适用于特定 TOSCA设计需求的 YAML 模板，从而改善用户体验。
Infosys 的方法集成了预训练和微调的大型语言模型（LLM），如 Llama 3-70B 和 Mistral-7B，这些模型作为 NVIDIA NIM 微服务提供。此集成确保了所有利益相关者的易用性，通过使网络服务设计师和 OSS 解决方案架构师能够更快设计运营级网络，从而提高了生产力。
RAG的数据收集和准备
Infosys 收集了用户指南网络构建器手册、培训文档和云服务的故障排除指南，以生成对用户查询具有准确语境的网络设计响应。创建了一个具有拖放功能的专用聊天界面，以便轻松转换为 YAML 文件结构，生成用于检索增强生成（RAG）的向量嵌入。
技术挑战与解决方案
为了防止延迟，Infosys 使用 NVIDIA GPU 快速生成向量嵌入。解决方案架构包括基于 React 的用户界面，使用 FAISS 进行高效数据处理的数据配置管理，以及用于用户管理和配置的健壮后台服务。与 NVIDIA NIM 和 NeMo 微服务的集成增强了生成式AI的学习和推理能力，确保了安全的身份验证和授权。
评估LLM性能
Infosys 测试了各种 LLM 配置，比较了它们在有和没有 NVIDIA NIM 的情况下的性能。结果表明，使用 NVIDIA NIM 和 NeMo 检索器嵌入微服务，延迟降低了多达 28.5%，准确性绝对提高了 15%。这种改进的模型性能使网络服务设计师能够更快地构建网络设计，降低运营成本。
示例用例
一个示例用例是生成具有 100 Mbps 带宽的以太网服务在 1PE 和 2CE 之间的 TOSCA 模板。生成式AI模型响应符合 TOSCA 标准的 YAML 格式服务模板设计，展示了该工具根据用户规格生成精确和可定制模板的能力。
赋能网络设计师
通过自动生成 TOSCA 模板，Infosys 的解决方案解决了手动模板创建耗时的问题，提高了电信公司的效率和一致性。借助 NVIDIA NIM 和 NeMo 技术，网络服务设计师能简化工作流程，提高生产力，并确保网络设计和编排的一致性。
有关部署生成式AI应用程序的更多详细信息，请访问NVIDIA 技术博客。
Image source: Shutterstock