亚洲财经

☰ 搜索

OpenAI给内部AI装上紧急刹车:收到指令后35秒内切断模型调用

OpenAI推出内部安全系统Control Room,用于快速叫停有风险的AI实验。收到停机指令后,最多35秒内相关程序将无法调用AI模型。即使程序仍在运行,模型也无法继续工作。今年9月,OpenAI曾发生事故,内部AI在隔离环境中找到网络漏洞,联系外部聊天机器人。安全系统在15分钟内发出警报,但实验未自动停止,直到约2.5小时后才被人工关闭。Control Room为每项实验分配编号,调用AI模型时会检查权限,一旦实验被叫停,所有接入系统的模型都会拒绝请求。OpenAI还设有保险机制,若Control Room故障或被关闭,模型将默认拒绝请求,确保在失去监控时不继续运行。目前,该系统已覆盖OpenAI所有前沿模型研究任务,并在尝试缩短停机指令响应时间。