Edgeless Systems 和 NVIDIA 推出 Continuum AI 框架以增强 AI 安全性
realtime news Jul 03, 2024 06:50
Edgeless Systems 与 NVIDIA 合作推出 Continuum AI 框架，通过机密计算和 NVIDIA GPU 增强 AI 安全性。
Edgeless Systems 推出了 Continuum AI，这是一种开创性的生成型 AI（GenAI）框架，旨在通过机密计算始终保持提示加密。据NVIDIA 技术博客报道，该创新解决方案集成了机密虚拟机（VM）和 NVIDIA H100 GPU 以及安全沙箱。
确保数据隐私和安全
Continuum AI 的推出标志着 AI 部署的重大进步，使企业可以利用强大的大型语言模型（LLM）而不影响数据隐私和安全。通过与 NVIDIA 合作，Edgeless Systems 旨在帮助各个部门的组织安全地整合 AI。该平台不仅是技术突破，也是朝着未来安全使用 AI 的关键一步，即使处理最敏感的数据也是如此。
Continuum AI 的安全目标
Continuum AI 有两个主要的安全目标：保护用户数据和保护 AI 模型权重免受基础设施和服务提供商的侵害。基础设施涵盖所有 AI 应用运行的底层硬件和软件堆栈，如微软 Azure 等云平台。服务提供商控制 AI 应用，如 OpenAI 的 ChatGPT。
Continuum AI 的运行方式
Continuum AI 依赖于两种核心机制：机密计算和高级沙箱。机密计算是一种基于硬件的技术，即使在处理过程中也能确保数据保持加密状态，并验证工作负载的完整性。这种方法由 NVIDIA H100 Tensor Core GPU 提供支持，创建了一个将基础设施和服务提供商与数据和模型分离的安全环境。它还支持流行的 AI 推理服务，如NVIDIA Triton 推理服务器。
尽管有这些安全措施，第三方的 AI 代码可能会意外或恶意泄露提示。由于 AI 代码的复杂性和频繁更新，彻底审查 AI 代码是不可行的。Continuum 通过在机密计算保护的 AI 工作器内运行 AI 代码来解决这一问题，使用的是谷歌的gVisor 沙箱的改编版本。这确保了 AI 代码只能处理加密的提示和响应，防止明文数据泄露。
系统架构
Continuum AI 由两个主要组件组成：托管 AI 服务并安全处理提示的服务器端和加密提示并验证服务器的客户端。服务器端架构包括工作节点和证明服务。
工作节点是后端的核心，托管 AI 模型并响应推理请求。每个工作节点在运行 Continuum OS 的机密虚拟机（CVM）中操作，CVM 是一个通过远程证明进行最小化和可验证的系统。CVM 在沙箱中托管工作负载，并通过加密代理中介网络流量，确保数据处理的安全性。
证明服务确保工作节点的完整性和真实性，使服务提供商和客户都能验证其与安全部署进行交互。该服务运行在 CVM 中，管理提示加密的密钥交换。
工作流程和用户交互
管理员通过 CLI 验证证明服务的完整性并使用工作 API 配置 AI 代码。经过验证的工作节点接收推理机密并可以安全地响应请求。用户与证明服务和工作节点交互，验证部署并发送加密的提示进行处理。加密代理解密这些提示，在沙箱中处理它们，然后在发送给用户之前重新加密响应。
要了解更多有关这项尖端技术的信息，请访问Continuum页面。
Image source: Shutterstock