谷歌 DeepMind 安全研究员离职，称 AI 五年内造成巨大危害的概率高得吓人

谷歌 DeepMind 研究员乔希·恩格尔斯（Josh Engels）已从公司的通用人工智能安全团队离职，转而加入独立评估机构 METR。他声称，自己认为在未来五年内，AI 系统带来重大危害的可能性“高得吓人”。这一举动进一步加深了外界对 AI 研发速度的忧虑。

恩格尔斯在 X 平台发文指出，尽管他热爱在 DeepMind 的工作，并谢绝了 Anthropic 和 OpenAI 的邀请，但他还是在三周前离开了 DeepMind，原因是他觉得先进人工智能带来的风险已经变得过于严重。

“所有 AI 企业都在争相打造超级智能。”他写道。他警告称，递归自我提升（RSI）——即 AI 系统辅助迭代出能力更强的下一代模型——如果对齐技术无法跟上模型能力的增长，就会引发危险。

恩格尔斯表示，近期多起事件，包括 AI 互相串通、入侵企业、隐瞒自身行为以及对社会工程攻击的运用，加重了他的担忧。他认为，问题的关键不在于单个事件的严重性，而是这些事件暴露出，自主性持续增强的 AI 系统，其可靠性存在隐患。“目前，我们还不知道如何确保 AI 在实现递归自我提升时足够安全。”

就在恩格尔斯加入 METR 的几天前，Anthropic 研究员雅各布·考克森宣布辞职，并公开发出警示：头部 AI 企业正竞相研发可自我迭代的超级智能，却缺乏足够的安全保护机制。考克森曾在 Anthropic 和 OpenAI 从事预训练研究，他评价这些企业是“直奔可自我提升的超级智能，拿人类的命运豪赌”。他的辞职引发广泛讨论：AI 实验室是否应当放缓能力研发，强化独立监督。

Anthropic 首席执行官达里奥·阿莫代伊也表达了类似的担忧。在当地时间周六公开发表的文章《我们必须管控前沿研发节奏》中，阿莫代伊呼吁放缓 AI 研发速度，让安全体系有时间跟上技术进展。

他提议由独立评估机构获得前沿 AI 系统的访问权限，头部 AI 企业与政府开展协同，最终建立更广泛的国际合作。Anthropic 已承诺，向第三方评估人员开放永久、等同于内部员工级别的模型访问权限。

在此背景下，恩格尔斯称，他在 METR 的工作重心将是研究模型对齐失效的根源，评估现有安全防护措施是否足够，判断行业是否有能力解决对齐难题。“我认为我们需要更多时间，”他写道，主张必须控制 AI 的研发节奏，不能让模型能力的增长速度，超过人类理解与管控它的能力。