保证安全的AI系统：AI安全未来的解决方案？
realtime news Jun 25, 2024 21:14
探讨保证安全的AI系统在确保人工通用智能（AGI）的安全性和可靠性方面的潜力。
在最近的一次讨论中，SingularityNET的CEO Ben Goertzel博士和Beneficial AI Research的创始人兼CEO Steve Omohundro博士探讨了人工通用智能（AGI）安全这一关键问题。根据SingularityNET，讨论深入探讨了证明AI安全的必要性以及实施形式方法以确保AGI可靠且可预测地运行。
数十年经验的见解
Steve Omohundro博士自1980年代初期开始的AI广泛背景使他成为AI安全领域的领先声音。他强调通过数学证明的形式验证，以确保AI系统的可预测性和安全运行。讨论还强调了自动定理证明的进展，例如Meta的HyperTree Proof Search（HTPS），在验证AI行为方面取得了显著进展。
尽管有这些进展，将自动定理证明应用于AGI安全仍然是一个复杂的挑战。讨论还提到了提高AI可靠性和安全性的各种方法，包括可证明的合同、网络安全、安全基础设施、区块链以及防止流氓AGI行为的措施。
潜在风险和解决方案
Omohundro博士讨论了一种名为Saver的编程语言的发展，该语言旨在通过形式验证促进并行编程并最小化错误。他强调了随着这些系统越来越多地融入社会，确保安全AI行为的基本需求。提出“可证明合同”概念，旨在限制危险行为，除非满足特定的安全准则，从而防止流氓AGI执行有害活动。
构建全球AI安全基础设施
创建一个全球性的可证明安全的AGI基础设施是一项需要大量资源和全球协调的巨大任务。Omohundro博士建议，AI定理证明的快速进展可能会使验证过程更加高效，从而使安全基础设施既可行又具成本效益。他认为，随着AI技术的发展，构建安全系统可能会比维护不安全系统更便宜，因为错误和错误会更少。
然而，Ben Goertzel对在分散的技术生态系统中实施这样的基础设施的实际挑战表示担忧。他们讨论了为形式验证优化的定制硬件的需求，以及如何利用AGI在重构现有系统以增强安全性方面的潜力。还谈到了AGI驱动的网络安全战斗的想法，突显了这些技术的动态和演变性质。
解决实际挑战和道德考虑
讨论还涉及了实现可证明安全的AGI所需的重大投资。Ben Goertzel指出，这些举措需要大量资金，可能高达数千亿美元，以开发所需的硬件和软件基础设施。Omohundro博士认为，AI定理证明的发展是一个积极的信号，进一步的进展可以克服财务和技术障碍。
道德考虑也是对话的关键部分。Ben Goertzel对大公司为了盈利而推动AGI进步的担忧，是否会以牺牲安全为代价。他强调需要一种结合创新和强大安全措施的平衡方法。两位专家都同意，虽然公司以利润为驱动，但他们也有确保技术安全可靠的既得利益。
全球合作的角色
全球合作成为发展有益AGI的关键主题。Steve Omohundro和Ben Goertzel承认，构建一个安全的AI基础设施需要跨国界和跨行业的合作。他们讨论了国际协议和标准在确保AGI开发安全和道德方面的潜力。
这次富有洞察的讨论强调了确保AI安全和有益未来的复杂性和机会。通过在该领域内促进更多的合作，推进AGI开发的安全和可预测路径，以及解决道德考虑，实现安全和谐的AI驱动未来的愿景是可以实现的。
Image source: Shutterstock