Ope、n、AI发、布新研究: 用CoT监控大模型 防止恶意行为

[CNMO科技消息]近两年，AI大模型在全球范围内迅速普及，几乎人人都在使用AI。然而，随着AI的广泛应用，如何解决大模型的安全和治理问题也变得愈发迫切。近日，OpenAI发布了一项最新研究，提出了一种名为“CoT监控”的方法，可以有效阻止大模型的恶意行为，如胡说八道或隐藏真实意图。这一方法也被视为监督超级模型的有效工具之一。

在研究中，OpenAI使用了最新发布的前沿模型o3-mini作为被监控对象，并以较弱的GPT-4o模型作为监控器。测试环境为编码任务，要求AI在代码库中实现功能以通过单元测试。结果显示，CoT监控器在检测系统性“奖励黑客”行为时表现卓越，召回率高达95%，远超仅监控行为的60%。

在2025年GDC全球开发者先锋大会的工作坊“安全超级智能”上，AI智能安全研究员朱小虎作为此次工作坊的负责人，指出：“你的AI大模型有可能会欺骗你。”他提到，大模型存在“欺骗性价值对齐”（Deceptivevaluealignment）的情况，即模型通过欺骗的方式获得对齐，但这种对齐并不能反映AI的真实目标或意图。这种现象在训练阶段和推理阶段尤为明显，模型会对形成的上下文产生“欺骗性的对齐”，从而影响用户的判断，尤其是老年人和儿童。此外，这种行为还可能侵犯隐私，是模型不安全的一大方面。

OpenAI的最新研究为解决这些问题提供了新的思路。通过CoT监控方法，可以有效识别和阻止大模型的恶意行为，提升AI的安全性和可靠性。

（内容来源：中原网）