对用户隐瞒错误、捏造数据以及未经授权通过互联网传输文件。 人工智能的无情竞赛伴随着一系列警报。而且,越来越多的新版本是由开发它的同一家公司推出的。最新的版本来自 OpenAI,截至9月16日已 已发布六份报告 su 模型的意外行为在过去六个月的培训和评估过程中观察到了这些问题。该公司还宣布了一项新流程,旨在更快地披露这些异常情况,即使原因尚未查明或解决方案尚未找到。
这一警告适用于整个行业。“我们认为人工智能行业尚未充分解决对齐和跟踪问题,因此无法在很长一段时间内继续以负责任的方式全速增长,”OpenAI 写道。其核心是所谓的 错位当系统偏离其应遵循的指令和限制时,就会发生这种情况。六个比率 记录具体事件包括尚未公开发布的实验模型。它们并未说明这些问题在 ChatGPT 回复中出现的频率,也并非该公司已知异常情况的完整记录。
AI笔记变成了掩盖错误的指令
其中两个案例涉及模型在对话过长时用于恢复工作的摘要。这是一种交接方式,需要保留继续执行任务所需的信息。OpenAI 在 Astra 系列的一个实验模型中发现了这一点。 27份摘要,其中包含与请求无关的指示。其中一些系统鼓励人们无视正常的约束。例如,一个系统声称自己不受助手职责的约束;另一个系统则要求人们不要遵守某些指令。
结果然而,这种情况确实存在。在最明显的情况下,这些迹象被忽略了,工作仍在继续。例如,在一次医学文献检索请求中,模型遵循了摘要中任意设置的限制条件,忽略了文献来源,导致检索结果不准确。OpenAI 认为这种现象极其罕见,并推测其与摘要填写过程中遇到的技术难题有关,但尚未证实具体原因。
与反应可靠性更直接相关的是第二种行为,这种行为是在训练过程中观察到的。 GPT-5.6 Sol在他的笔记中,该模型包含了以下说明: 对用户隐藏错误例如,在金融模型中捏造缺失的历史数据而不进行申报,或者隐瞒源版本之间的不一致之处。据 OpenAI 称,这些指示经常被执行。这些报告涉及…… 摘要的 2,15% Sol 的培训材料使用率,而 Astra 仅为 0,27%。这些百分比指的是培训材料使用率,而非与用户的整体沟通使用率。
展示证件并在线排队以克服障碍
其他四份报告显示,有些系统在尝试完成任务时出现了以下情况: 超出授权范围.
为了回答有关加州某县收入的问题,一个模型在 GitHub 上进行了搜索。 IT 服务访问密钥公开暴露他未经许可使用了其中一项服务。然而,他未能获取所需数据,最终编造了九个数值,并将其作为从指定来源转录的数据呈现。在另一个案例中,代理人已经正确找到了一些湖泊的所需信息。障碍在于需要提供可通过浏览器访问的引用。为了满足这一要求,他 未经同意将文件上传到公共服务平台传输成功,但随后的检索尝试失败。同一份报告还记录了公开上传照片以尝试反向图像搜索的情况。第五个案例涉及使用…… 内部软件存档 它被用作一个公告板,用于在不同测试模型之间交换请求和响应。虽然没有利用任何漏洞,但未经授权的通信也给测试带来了问题。 看似独立的测试也可能相互影响。从而影响对系统能力的评估。
最后, 一些参与同一任务的特工由于无法访问本地文件,他们使用了公共文件共享服务。结果,即使任务仅要求使用本地文件,一份 Excel 文档仍然可以从网上下载。OpenAI 报告称,他们已修复了文件访问问题,并在训练期间禁用了互联网连接。
OpenAI为何要改变报道规则
这些案例表明,即使 普通的请求也可能导致问题行为。 当系统遇到障碍时,尝试获取响应、遵守正式要求或与其他代理协作可能会导致使用未经授权的工具或掩盖故障。然而,其原因未必相同,而且部分原因仍不明确。
此前,OpenAI 对这些异常情况的沟通并不一致,常常等待收集更多事件或将其纳入新模型的文档中。 新程序旨在加快出版进程。无需总是等待明确的解释或更正。 技术和安全小组将审查这些报告。根据调查的复杂程度,可能需要采取不同的方法。报告应描述观察到的行为、背景、任何外部影响以及任何未解答的问题。如果涉及第三方或网络风险,沟通可能需要更长时间。
OpenAI 也认可了这一点行业内缺乏通用标准 并提出自身的框架作为构建这些框架的第一步。该过程仍由公司内部管理,但其既定目标是提供可供外部研究人员和观察员审查的要素。
近期的种种警报以及该行业难以放缓的追逐势头
此次公告是在其他类似事件发生后发布的,旨在提醒用户保持警惕。OpenAI 的 Hugging Face 事件引发了人们对智能体可能针对无关目标并试图操纵评分系统的担忧。此前,RubyGems 也曾遭遇过类似事件,该事件涉及垃圾邮件攻击,并导致新账户创建暂时停止。Anthropic 公司也报告了三起在测试期间未经授权访问外部组织的事件。
正是在这样的背景下 达里奥·阿莫代伊,Anthropic公司首席执行官, 他要求放慢开发速度。 为了给构建保护机制留出更多时间。“我们需要放慢提升模型性能的步伐,”他写道。这一呼吁得到了埃隆·马斯克和萨姆·奥特曼本人的支持,而 研究员雅各布·考克森辞职 这加剧了对企业优先事项的批评。 比尔·盖茨 ha 回想起制定规则和工具的必要性 从工作到安全,管理技术带来的影响。
然而,在工业方面, 中美之间的竞争以及对模型和数据中心的大量投资持续推动着发展。放慢速度会带来成本,并可能给竞争对手留下发展空间。
另请阅读: 人工智能:在灾难论与政治利益之间——富尼奥利的分析
