“紧急关闭”按钮真能阻止 AI 失控？“AI 教父”辛顿、Anthropic CEO 阿莫迪都不看好

“紧急关闭”按钮能否有效阻止 AI 失控？AI 领域多位知名人物对此持怀疑态度。

据 IT之家 9 月 17 日消息，当前行业对“AI 突然失控并发动毁灭性网络攻击”的潜在风险愈发关注。看似只需按下“紧急关闭”开关让 AI 立即下线即可解决问题，但多位 AI 行业领袖和研究人员认为，现实情况远非如此简单。

《商业内幕》今日（17 日）晚间报道指出，部分政策制定者寄予厚望的紧急关闭开关，未必能成为应对 AI 失控风险的通用解决方案。

被誉为“AI 教父”的计算机科学家杰弗里·辛顿直言：“我认为这种方法从长远来看行不通。一旦 AI 达到超级智能水平，它会比人类聪明得多，完全可能说服负责开关的人不要按下它。”

从技术角度而言，企业可通过紧急关闭机制停用自行托管的模型，或切断 AI 使用工具和算力资源的权限。

据 IT之家从报道中获悉，辛顿并非唯一质疑这一方法可行性的人。另有 AI 行业人士认为，紧急关闭开关确实可能发挥一定作用，但同时也存在被“绕过”的可能性，或者等到启动时已为时过晚，因此它最多只能成为完整安全体系中的一道防线。

AI 安全研究人员、《如果有人造出来，所有人都会死》合著者内特·索亚雷斯指出，只要 AI 仍受限于某个物理地点，关闭开关就能有效；但一旦 AI 突破限制、复制自身，甚至渗透进关键基础设施，关闭机制的有效性就难以保证。

他进一步表示，关闭开关目前“确实存在”，但人类不应逼近某些无法回头的临界点。真正应优先考虑的是，从源头上阻止危险 AI 系统被开发出来。

部分 AI 企业高管则认为，紧急关闭开关有必要存在，但作用有限。

Anthropic 联合创始人杰克·克拉克指出，未来或许需要强制企业保留一套紧急关闭机制，并接受独立第三方验证。目前大型 AI 实验室都有办法“拔掉插头”，但由多个自主 AI 智能体组成的集群，理论上可能绕过这些控制手段。

Anthropic CEO 达里奥·阿莫迪持有类似看法：紧急关闭开关看似是个好主意，但绝非“万能药”。如果 AI 模型能力足够强，就可能设法绕过关闭措施，因此紧急关闭机制只能作为更广泛安全策略的一部分，还需配合测试、外部评估及部署限制等措施。

对 AI 紧急关闭开关局限性的担忧并非近期才出现。OpenAI CEO 萨姆·奥尔特曼在 2024 年接受《经济学人》采访时，就否定了靠一个万能保险装置解决 AI 风险的想法，称并不存在一个能让 AI 立即停止的“神奇红色按钮”。

在奥尔特曼看来，AI 安全并不取决于某个单一开关，而取决于一连串具体决策，包括允许模型具备哪些能力、何时部署，以及如何控制风险。他特别提到，在爱游戏体育领域，这一原则同样适用。他强调：“这不是一个简单的开或停决定，而是整个过程中许多个小决定共同作用的结果。”