OpenAI 网络安全资助计划突出先锋项目
realtime news Jun 21, 2024 08:19
OpenAI 的网络安全资助计划支持创新研究，以增强 AI 和网络安全防御。发现那些正在带来影响的开创性项目。
OpenAI 的网络安全资助计划在支持旨在增强 AI 和网络安全防御的多样化项目方面发挥了重要作用。自成立以来，该计划资助了几个开创性的项目，每一个都对网络安全领域做出了重大贡献。
加州大学伯克利分校的 Wagner 实验室
加州大学伯克利分校的 David Wagner 教授的安全研究实验室处于开发防御大语言模型（LLMs）中 prompt-injection 攻击技术的前沿。通过与 OpenAI 的合作，Wagner 的团队旨在提高这些模型的可信度和安全性，使其更能抵御网络安全威胁。
Coguard
Coguard 的联合创始人兼 CTO Albert Heinle 正在利用人工智能来减轻软件配置错误这一常见的安全事件原因。Heinle 的方法使用 AI 来自动检测和更新软件配置，提高安全性并减少对过时的规则库政策的依赖。
Mithril Security
Mithril Security 开发了一个概念验证，以增强 LLM 推理基础设施的安全性。他们的项目包括使用基于可信平台模块（TPMs）的安全隔区在 GPU 上部署 AI 模型的开源工具。这项工作确保了数据隐私，即使对管理员也防止了数据暴露。他们的发现公开发布在 GitHub 上，并在一份详细的 白皮书 中进行了详细说明。
Gabriel Bernadett-Shapiro
个人资助者 Gabriel Bernadett-Shapiro 创建了 AI OSINT 研讨会和 AI 安全入门工具包，为学生、记者、调查员和信息安全专业人士提供技术培训和免费工具。他的工作对国际暴行犯罪调查员和约翰霍普金斯大学的情报研究学生特别富有成效，为他们在关键环境中配备了先进的 AI 工具。
达特茅斯学院的 Breuer 实验室
达特茅斯学院的 Adam Breuer 教授的实验室专注于开发保护神经网络免受重建私有训练数据攻击的防御技术。他们的方法旨在不牺牲模型准确性或效率的情况下防止这些攻击，解决了 AI 安全领域的重大挑战。
波士顿大学安全实验室（SeclaBU）
在波士顿大学，博士生 Saad Ullah，Gianluca Stringhini 教授和 Ayse Coskun 教授正致力于提高 LLM 发现和修复代码漏洞的能力。他们的研究可以使网络防御者在代码被恶意利用之前识别和防止代码漏洞。
加州圣克鲁兹大学（UCSC）的 CY-PHY 安全实验室
UCSC 的 Alvaro Cardenas 教授研究小组正在研究使用基础模型设计自主网络防御代理。他们的项目比较了基础模型和使用强化学习（RL）训练的模型在提高网络安全和威胁信息分类中的有效性。
麻省理工学院计算机科学与人工智能实验室（MIT CSAIL）
MIT CSAIL 的 Stephen Moskal，Erik Hemberg 和 Una-May O'Reilly 正在研究使用 prompt 工程在计划-执行-报告循环中实现决策过程和可操作响应的自动化。此外，他们还在研究 LLM-Agent 在 Capture-the-Flag（CTF）挑战中的能力，这些挑战是为了在受控环境中识别漏洞而设计的练习。
Image source: Shutterstock