微软的AI红队采用黑客思维增强安全性
realtime news Jul 25, 2024 01:09
微软的AI红队运用黑客的思维来识别和减轻潜在的生成性AI风险，结合网络安全和社会危害评估。
生成性AI的新能力带来了新的风险，这促使微软的AI红队采用了一种新方法，根据news.microsoft.com，以识别和减少潜在的危害。
红队的起源
“红队”一词是在冷战期间提出的，当时美国国防部进行模拟演习，红队扮演苏联，蓝队扮演美国及其盟友。网络安全界在几年前采用了这一语言，创建了红队作为试图破坏、腐败或滥用技术的对手，目的是在问题出现之前找到并修复潜在危害。
微软AI红队的成立
2018年，Siva Kumar成立了微软的AI红队，按照传统模式召集网络安全专家来主动探查弱点，就像公司对其所有产品和服务所做的那样。同时，Forough Poursabzi领导公司的研究人员从负责AI的角度进行研究，审查生成技术是否会有意或由于训练和评估中被忽视的系统性问题而造成危害。
全面风险评估的合作
不同的小组很快意识到他们一起会更强，于是联手创建了一个更广泛的红队，评估安全和社会危害风险。这个新团队包括神经科学家、语言学家、国家安全专家以及众多拥有不同背景的专家。
适应新挑战
这种合作标志着红队操作方式的重大转变，整合了多学科方法来应对生成性AI带来的独特挑战。通过像黑客一样思考，团队旨在识别漏洞并减轻风险，防止它们在现实场景中被利用。
这项举措是微软负责任地部署AI的更广泛努力的一部分，确保新能力不会以牺牲安全和社会福祉为代价。
Image source: Shutterstock