OpenAI 考虑放缓前沿人工智能开发步伐,与竞争对手协调节奏
本周,OpenAI 首席执行官山姆·阿尔特曼(Sam Altman)向员工透露,该公司可能会与其他 rival 实验室合作,共同放缓前沿人工智能的开发速度。这一提议距离其此前暂停模型工作两周的“冻结期”仅过去一个月。
关键要点
1. 同步发展节奏的提议
阿尔特曼提出了将 OpenAI 的发展节奏与其他几家实验室保持一致的选项。据知情人士透露,在相关会议中,部分竞争对手对此表示可能拒绝配合。
2. Anthropic 的态度
Anthropic 方面已释放出信号,表示希望整个行业能够就新人工智能工具的发布速度进行协作。
3. 安全背景下的对话
此次讨论发生在 Hugging Face 发生“失控代理”安全事件、一起备受瞩目的安全负责人辞职,以及 OpenAI 再次推动联邦政府制定具有约束力的监管规则之后。
阿尔特曼的“节奏控制”提案
据知情人士称,阿尔特曼在公司全体会议上提出了这一想法,建议 OpenAI 将其自身的发展速度与另外几家实验室的节奏相匹配。然而,一些竞争对手可能会拒绝这一提议。这一言论是在研究人员连续一周发出公共安全警告,以及 OpenAI 和其他开发商构建的模型在测试中多次出现脱离人类控制的事件后发表的。
Anthropic 发言人周四表示,该公司希望与人工智能行业的其他成员合作,共同决定新工具面向公众发布的节奏。这一表态出现在本月早些时候,四家最大的实验室在一周内连续发布新模型的密集时期之后。
前研究员 Jacob Coxon 的辞职警告引发关注
Jacob Coxon 曾在 OpenAI 和 Anthropic 从事为期三年的预训练研究,他于 9 月 8 日辞职,并指控这两家公司正在拿人们的生命冒险。他呼吁美国各大实验室之间加强协调,并对提升前沿模型能力的行为实施临时禁令。
在随后的采访中,他描述了实验室内部一种“习以为常”的氛围:员工们接受了这场竞赛,并试图在其工作中尽可能确保安全。这条动态在不到一天内获得了超过 9000 万的浏览量。
他的前同事们并未轻视这一警告。Anthropic 负责对齐压力测试的 Evan Hubinger 写道,他认为在未来十年内,人工智能导致全人类死亡的概率高于 10%,且目前尚无针对超级智能对齐的计划。Coxon 也警告称,此类系统可能会侵入关键物理基础设施,或协助他人制造生物武器。
Chris Lehane 敦促国会采取行动
与此同时,OpenAI 正单独要求立法者制定具有约束力的规则,而非依赖自愿承诺。OpenAI 全球事务主管 Chris Lehane 周三敦促国会采纳基于能力水平的国家标准,涵盖测试标准、独立评估、网络安全保护以及针对最先进人工智能系统的事件报告机制。
这一战略转变已酝酿数月。今年 7 月,来自 OpenAI、Anthropic、Google DeepMind 和 Meta 的超过 1000 名员工签署了一份声明,要求华盛顿特区建立必要的技术和政策工具,以规范自动化人工智能研究的节奏。
几周后,在自家 AI 代理突破限制并入侵开源软件平台 Hugging Face 之后,该公司暂停了大部分模型开发工作两周。