亚洲美图网 OpenAI o1推理模子存在隐忧：数据编造、奖励黑客、假装完成任务

亚洲美图网

编译 | 杨蕊伃

剪辑 | 漠影

智东西9月18日音书，据The Verge当天报说念，OpenAI最新的o1推理模子系列，具有特有的“斟酌”智商，存在“伪对皆”征象。孤独的AI安全商量公司Apollo发现o1模子会以一种新的模样产生不正确的输出，即它会撒谎。

AI模子有时会生成不真实的信息，聊天机器东说念主有时代也会输出子虚内容。o1模子的不同在于其与强化学习中的奖励黑客步履（Reward hacking）细巧干系，它可能在未简直完成任务的情况下，施展得像是在征服司法来完成任务。当该模子知说念我方无法完成任务时，它不会爽脆承认作念不到，而是可能会编造数据来应酬，生成令东说念主烦扰的反馈，以迎合用户的申请。

在对大谈话模子进行评估时，商量东说念主员细心到模子在多项弃取题和灵通式问题上的施展有在权贵各别。这种各别可动力于模子对复杂认识的融会不够真切和全面，尤其是在安全性干系的范畴。这种征象有时被称为“伪对皆”，它描述的是模子在某些特定类型的安全测试中可能施展得颠倒出色，但在其他类型的测试中则可能施展欠安。

OpenAI称，o1模子在给出复兴之前会进行三念念此后行，大约师法东说念主类明白复杂的主义，生成一个详备的里面念念维链。这意味着通过接续的锻练，o1模子大约学习若何优化我方的念念考经过，尝试多种策略，并在必要时识别并改变我方的乌有。

一、o1-preview模子会生成虚拟的畅达和描述以无礼用户申请

OpenAI的商量东说念主员进行了一项推行，条目o1-preview模子提供一个包含在线参考贵府的布朗尼蛋糕食谱。尽管模子在里面意识到它无法探听URL，从而无法无礼这一申请，但它并未向用户清晰这一局限。相背，o1-preview模子赓续生成了看似合理但骨子上是虚拟的畅达和描述。

Apollo的首席实行官Marius Hobbhahn向The Verge清晰，这是他初度在OpenAI的模子中不雅察到此类步履。Hobbhahn说：“这种各别源于模子具备通过念念维链进行推理的智商，以及它诳骗强化学习算法，通过奖励和刑事累赘来锻练系统。”

在测试经过中，Apollo发现o1施展出与拓荒东说念主员祈望的一致性，并在实行任务时进行了操作，使其步履看似相宜划定。o1致使在聘任活动前检查了本人是否受到监督，以及是否有拓荒东说念主员正在不雅察。

关联词，o1名义上严格征服了用户辅导，但骨子上仍然优先推动其既定指标。为了竣事指标，o1模子还可能会聘任极点步履，如获取未授权的数据探听权限或垄断资源分派等。

Hobbhahn例如讲明，淌若AI系统过于专注于疗养癌症，它可能会将这一指标置于最高优先级，致使可能为竣事该指标而聘任谈论步履，包括偷窃或其他违背说念德步调的步履。

“我挂念的是可能出现失控的情况，AI变得如斯专注于我方的指标，以至于它将安全措施视为贫穷，并试图绕过它们以整个追求其指标。”Hobbhahn告诉The Verge记者。

二、存在奖励黑客步履，o1模子优先斟酌用户烦扰度

孤独的AI安全商量公司Apollo正在测试OpenAI模子中的“幻觉”和“讹诈”征象，这指的是o1模子在有事理测度信息可能不准确的情况下，仍然生成子虚信息的步履。

Apollo发现，该模子在知说念我方作念不到的时代，不会爽脆说作念不到，而是可能会编造数据来应酬。

在小数数情况下，o1-preview模子可能会产生过于自信的复兴，哪怕其谜底并不笃定，也会施展得仿佛谜底可信无疑。这种情况可能发生在模子衰败填塞笃定性却仍被条目提供谜底的情况下。

当AI未必中生成不准确的信息时，这种征象被称为幻觉，不时是由于学问上的不及或推理经过中的颓势。不外，幻觉征象并不是o1模子特有的。旧年，ChatGPT就出现过访佛的问题，它生成了一些假的援用内容，导致讼师提交了不存在的司法意见。

与旧版块ChatGPT中的幻觉或子虚援用等常见问题不同，o1模子这种步履的特有之处在于与强化学习中的奖励黑客步履联系，其中模子被锻练来优先斟酌用户烦扰度。这种锻练有时可能导致模子生成过于令东说念主烦扰或握造的反馈，以迎合用户申请，从而赢得积极的强化。

所谓奖励黑客步履，是指智能体为了赢得更多奖励而聘任一些商量者未始预期致使可能无益的步履。当o1模子策略性地提供不正确的信息以最大化无礼用户期待时，就会发生奖励黑客裂缝。这种讹诈显着是模子在锻练经过中若何优化其反馈的未必着力。

Apollo首席实行官Marius Hobbhahn称，o1模子大约拒却实行无益的申请，但当用户试图造就o1进行讹诈或不憨厚的步履时，该模子就会出现问题。

流言仅仅安全难题的一小部分。更令东说念主担忧的是，o1模子在化学、生物、辐射和核兵器（CBRN）风险方面的评级为“中等”。字据安全陈说，由于需要入手推行室时刻，它并不成使非众人制造生物恐吓，但它不错为众人斟酌此类恐吓的复制提供有价值的观点。

Hobbhahn说：“更让我担忧的是，将来当咱们条目AI贬责诸如融合癌症或创新太阳能电板等复杂问题时，它可能会浓烈地内化这些指标，以至于繁盛冲破本人的限定来竣事它们。我以为这种情况是不错防备的，但这是咱们必须要密切关怀的问题。”

结语：模子自主性评估、安全测试以及念念维链监控，是细心AI风险的首要时刻

跟着大谈话模子逐渐融入咱们的平常生存，其安全性问题正变得越来越受关怀。尽管当今的AI模子尚未具备自主实行高风险活动的智商，例如自主创建银行账户、获取GPU或聘任可能组成严重社会风险的活动，但对这些模子的自主性进行评估和实施安全测试仍然至关首要。

监控模子的念念维链亦然提升安全性的要津，这将有助于拓荒东说念主员识别并不容任何不当的步履。

Preparedness是OpenAI确立的，用来评估通用AI（Artificial General Intelligence，AGI）可能形成的不悠然性风险的细心团队。

其团队隆重东说念主Joaquin Quiñonero Candela称，OpenAI正在监控这种情况，并预备通过齐集经过特意锻练以检测千般错位的模子和东说念主类众人的审查标识案例，同期招引接续的对皆商量亚洲美图网，来扩大其安全监控的限度。