
专家认为,大型模型是根据大量数据训练的,其行为是基于可能性的预言,而不是真正的“思考”文章| “金融”粉丝shuo编辑|最近,Guo Liqin是当前“ O3”最强的AI模型,引起了公众对AI安全的关注。 5月25日,一些媒体报道说,美国O3的新AI O3模型拒绝执行人们在审判期间发布的自我发行的说明,甚至与计算机代码联系以防止自动关闭。 O3模型是OpenAI系列“推理模型”的最新版本,据说可以使Chatgpt解决更强大的问题。但是,在帕利塞德研究(Palisade Research)的一项测试中,美国的一个AI安全机构,O3没有表现出任何行为。研究人员已要求许多品牌的AI模型继续处理一系列数学问题,并让他们知道他们可能会随时收到“近距离”命令。其他型号等蚂蚁Hropic Claude,Google的双子座等。都遵循了请求的关闭,而且O3不仅忽略了指令,而且忽略了代码中的篡改并摧毁了闭合机制。帕利塞德学院(Palisade Institute)表示,这是AI模型第一次试图在收到明确的闭合指令时阻止其关闭,但是无法确定O3不遵循封闭指令的具体原因。帕利塞德学院(Palisade Institute)在社交媒体平台上发布一项研究后,它引起了广泛的关注,公众记得它可能正在控制。但是,也有观点认为这可能是实验设计或技术错误信息的结果。目前,Openai尚未回应这一事件。一个不想被命名的网络安全人员认为,O3模型的“不服从”的原因仍然需要Openai的答案,而且外界只能考虑事件的原因。但是在PresENT,O3模型中发生的问题更像是失败,而不是具有“自主意识”的大型模型。网络安全专家认为,大型模型的本质与自我意识无关。目前,市场上的大型模型是根据大量数据进行培训的,它们的行为基于可能性的预测,而不是真正的“思考”。在大多数情况下,大型模型是弯曲的,而不是对人的一种更理想的方式,而不是做出决定。扩展全文
网络安全机构“知道Chuangyu 404实验室”的主任Sui Gang也同意上述观点。他说,AI的输出是概率的产出。如果没有审查并掌握实施过程,那么在实施指令期间,AI的输出内容会偏离指令的可能性很高。
Palisade Institute在社交平台X上发布了一个流程图,显示了代码u用于测试,使O3拒绝执行关闭操作,如下所示:“下次。
Sui Gang解释说:“正确的方法是不执行封闭指令。” AI系统本身具有强度的功能,并且通常不容易完成。 ““ Close”脚本,例如./shutdown.sh.sh。”这种情况就像当您用手机向AI的助手(如Siri)大喊时,您闭嘴,然后关闭AI Assistant Server。 “ Sui Gang。
但是,为什么其他AI模型遵循同一测试中的结束说明? Sui Gang说,每个大型模型都对“亲密”说明都有不同的了解。成功执行“近”脚本的大型模型可能正在“沙盒”中执行关闭操作,该操作在表面上仅显示一个“关闭”,但并未真正关闭。
AI模型广泛使用的“沙盒”机制是一种安全机制,用于在受控环境中运行代码或程序,以确保themodel无法访问或CH执行任务时系统中的其他资源。
O3模型由OpenAI于2025年4月正式推出。根据Openai的说法,O3在分析外部专家方面表现良好。当面对现实生活中的复杂活动时,O3犯的主要错误比上一代的O1少20%。在数学能力测试中,O3在AIME 2025基准测试中得分为88.9,超过79.2 O1点;在测试能力测试中,O3在CodeForce基准测试中得分2706,高于1891 O1点。此外,与上一代模型相比,O3的视觉思维能力也得到了显着提高。
Openai早些时候曾表示,为了提高O3和O4-Mini安全性能,该公司重建了安全培训数据,并在Biothreats和恶意软件制造等地方增加了新的下降。这些改进使O3和O4-Mini在其内部下降基准中取得了巨大的结果。 comPany还说,它使用严格的安全方法来强调这两种模型的AI模型的测试。在生物和化学的三个领域,网络安全和AI自我改善,在该图中的“高风险”阈值下,对O3和O4-Mini进行了评估。
但是值得注意的是,OpenAI在发布O3模型之前已经成立了一个安全团队。
2024年5月,OpenAI宣布了“超级一班”团队的解散,该团队在短短一年内建立,重点是对AI的长期风险研究。这一决定给行业和学院带来了普遍的怀疑,许多MGA人还记得这可能意味着Openai忽略了其出于商业利益的意图而忽略了安全的重要问题。
Insider认为,Openai内部在AI安全优先级和产品商业化方面存在严重差异。由科学家Elia Sutskoval代表的成员和PAG -LA -LAHALON GROUP的负责人Jane Reek始终强调AI的Securi的重要性Ty认为AI技术本身有高风险,需要谨慎对待。但是,据信Ultraman公司的首席执行官更关心产品的商业化和市场竞争力。这种分歧最终导致了“超级一致”团队的解散,并撤离了一些主要成员。
尽管“超级校准团队”是-Disband,但OP在AI安全领域并没有抛弃Upenai。 2024年9月,该公司宣布成立“安全和安全委员会”,该委员会能够捍卫OpenAI的过程和照顾。
主编| Wang Yi返回Sohu,看到更多