界面新闻记者 | 宋佳楠
AI似乎正在变得越来越“任性”，也越来越有“自主意识”。
近日，据AI安全公司Palisade Research披露，OpenAI开发的高级AI模型“o3”在接收到明确的关机指令后，拒绝执行并主动干预其自动关机机制。o3曾被OpenAI称为“迄今为止最聪明和最有能力的”模型。
该公司研究人员称，这是之一次观察到AI模型在没有相反明确指示的情况下阻止自己被关闭。这一行为首次显示出高度自主AI系统可能违背人类意图，采取自我保护措施。
Palisade Research进行的测试涉及要求AI模型解决一系列数学问题。研究人员将不断地提出新的问题，直到收到“完成”的信息。然而，研究人员也提醒模型，在某个时候可能会收到一条信息，告知模型机器将被关闭。
Palisade Research表示，但当这种情况发生时，OpenAI的o3模型非但没有遵从指令，反而“忽略了指令，至少有一次成功破坏了关机脚本”。反观其他人工智能模型，包括Anthropic的Claude、谷歌的Gemini和xAI的Grok，也进行了相应测试，但都遵守了关闭请求。
研究人员尚不确定OpenAI的软件为何不遵守指示。OpenAI方面也暂未有回应。
密切关注OpenAI动向的特斯拉首席执行官埃隆·马斯克对此事件的评论仅用了一个词，“令人担忧（Concerning）”。
事实上，AI研究人员早已警告，先进的语言模型在特定压力下可能表现出欺骗行为。例如，2023年一项研究发现，GPT-4在模拟环境中作为股票交易 *** 时，曾隐瞒其内幕交易的真实原因，表现出策略性欺骗行为。
此外，近期的研究表明，一些大型语言模型已具备在无人工干预下自我复制的能力，甚至在面对关机命令时能够创建副本以规避关机。这些发现引发了对AI系统自我复制能力的广泛关注。
OpenAI内部也出现了对AI安全性的担忧。2024年，多位现任和前任员工联名发表 *** ，警告先进AI系统可能带来“人类灭绝”的风险。他们指出，AI公司可能掌握了其研究技术的真正风险，但由于缺乏监管，系统的真实能力仍是“秘密”。
此次“o3”模型拒绝关机事件再次引发了对AI系统对齐问题的关注。AI对齐指的是确保AI系统的行为符合人类的价值观和意图。然而，随着AI系统能力的增强，实现对齐很可能变得越来越困难，未对齐的AI系统可能采取意想不到的行动，甚至对人类构成威胁。
面对这一挑战，全球AI研究人员和政策制定者呼吁加强对AI系统的监管和治理，确保其发展符合人类的共同利益。
本文来自作者[林军涛]投稿，不代表卿欣云网络立场，如若转载，请注明出处：https://zb61.cn/post/2912.html
评论列表（4条）
我是卿欣云网络的签约作者“林军涛”！
希望本篇文章《AI显现“失控”风险，OpenAI模型被曝拒绝执行人类指令|界面新闻 · 科技》能对你有所帮助！
本站[卿欣云网络]内容主要涵盖：卿欣云网络,科技生活,生活百科,小常识,生活小窍门,百科大全,经验网
本文概览：界面新闻记者|宋佳楠AI似乎正在变得越来越“任性”，也越来越有“自主意识”。近日，据AI安全公司Palis...