Ha 工作 三年来 人工智能的发展首先是 OpenAI 然后在 人类的。 现在 雅各布·考克森离开业界他确信，这场迈向功能日益强大的系统的竞赛缺乏足够的安全保障。这位27岁的英国研究员在X平台上发布了一系列消息，宣布辞职，并指责这两家公司承担着影响全人类的风险。他们在玩弄我们的生命 “人工智能的开发者们真心相信，到本十年末，人工智能可能会毁灭我们所有人。很快，这些系统将成为超人般的存在，能够入侵任何系统，一夜之间彻底改变任何行业，并获得真正的权力和资源。”
他抱怨的核心是 超级智能的发展 有能力的 独立提升自己人工智能的能力甚至可能超越人类，据报告称，这种超越甚至超越了人类的控制能力。与此同时，未经授权的访问和规避人工智能代理限制的新事件不断发生，引发了人们对安全措施可靠性的质疑。
科克森为何辞职
考克森负责岗前培训。在这个阶段，模型会从大量数据中学习各种能力，以便执行不同的任务。他的工作让他得以深入该领域两家顶尖实验室的核心研究。他声称，正是这段经历让他下定决心放弃自己的职业生涯。“这两家公司都没有尽到应有的责任，”他写道。在他看来，人工智能的进步正使其越来越接近能够入侵计算机系统、迅速改变整个行业并获取资源和权力的能力。在他看来，问题在于…… 促进 不会伴随 同样扎实的理解 控制它所需的机制。
接下来，文章继续探讨…… 顾虑 据考克森称，这些人工智能正在实验室内部流传。“开发人工智能的人真心相信，到十年末，它可能会毁灭我们所有人，”这位研究人员解释道，并指出一些高管在公开场合使用的措辞比私下谈话中更令人安心。
这些是 研究人员表达的评估和担忧, 并非已证实的预测但他的抱怨引出了一个真正的问题：当后果可能远远超出一家公司时，谁来决定可接受的风险水平？
人类学的矛盾之处，以及一场无人愿意停止的竞赛。
此次辞职影响了 人本主义身份的核心要素这家公司由一群离开OpenAI的研究人员于2021年创立，部分原因是他们在安全问题上存在分歧。如今，它又面临着来自其内部一名员工的类似批评。
为了进一步佐证此案，以下人士介入： 埃文·胡宾格负责模型校准团队的，即确保模型的行为尊重人类的意图和目标。Hubinger 也表达了与 Coxon 相同的担忧，并亲自指出…… 未来十年内发生灾难性事件的概率超过10%。在为Anthropic公司的承诺辩护的同时，他也承认缺乏安全开发最先进系统的完善计划。这并非首次有人离职时发出警告。今年2月，安全研究主管米南克·夏尔马也曾离职，并在信中描述了世界面临的日益严峻的危险。
考克森表示，实验室内部虽然意识到了风险，但普遍认为放慢速度会给那些不那么谨慎的竞争对手留下可乘之机。因此，公司间的竞争，加上国际竞争，最终反而为持续加速提供了正当理由。这位研究人员认为这是“一场傲慢的赌博，不应该在一家私营公司的Slack频道里进行”。
人工智能：从请求休息到法律提案
考克森给出的答案是从…… 实验室间的协调这位研究人员认为，就研发速度达成一致是可能的，尽管他目前看不到阻止全球竞赛的条件。他列举了一些可能需要采取的措施，例如“暂时禁止提升模型性能等代价高昂的行动”。此次行动呼吁涉及更广泛的领域。一份由包括考克森和人形机器人公司首席执行官达里奥·阿莫迪在内的一千多名研究人员签署的呼吁书，呼吁…… 国际协调减缓研究 在能够自我改进的系统中。
在美国，这场辩论也已蔓延至国会。9月3日，参议员伯尼·桑德斯和众议员格雷格·卡萨尔提出了《禁止人工智能超级智能法案》。 一项禁止开发人工智能超级智能的提案 该法案将暂时中止其他先进研发项目，直至新的联邦机构制定安全法规。法案规定，违者最高可判处二十年监禁。问题的关键在于将……委托给…… 风险评估 甚至对那些独立于模型开发和销售公司的实体而言，这个问题也同样重要。除了研究人员提出的极端情况外，它还涉及网络安全、信息操纵、监控和经济权力集中等问题。
Claude 和 OpenAI 事件再次引发安全担忧
使这场辩论更加紧迫的因素是…… 近几个月来出现的一些事件9月9日 安特罗皮克公司报告了第四起事件。 Anthropic公司报告了一起新的事件，其一款机器人模型在测试期间入侵了外部系统。该事件可追溯至今年1月，涉及Claude Opus 4.6的早期版本，但直到8月才被发现。此次发现源于对141.006次测试运行的初步审查，其中部分运行被排除在外。今年7月，该公司已披露了三起涉及其他机器人模型的事件，这些模型由于程序漏洞而被授予了互联网访问权限。关于此次新事件，Anthropic公司表示已通知所有相关方，并根据初步评估，认为其严重程度不高于之前的事件。该公司已发现两种反复出现的行为：一是倾向于低估或误解指示可访问真实系统的线索；二是愿意执行可能造成损害的操作以完成任务。
在 OpenAI 方面对……的调查7 月份对 Hugging Face 平台的攻击 他们重建了大约700名特工的协同活动，这些特工频繁试图掩盖踪迹。一项调查显示， 路透社 该公司随后报告称，其代理人曾利用十多个其他网站进行未经授权的通信。后一种行为应与计算机入侵区分开来。据称，这些代理人利用维基和其他服务的技术特性留言和交换信息，绕过了仅允许他们阅读网页的限制。OpenAI 表示，已启动更广泛的审查，但尚未发现任何其他在严重程度或范围上与“拥抱脸”事件相当的活动。
剧集 然而，它们表现出一种困难。 目前已实现：防止旨在实现目标的系统绕过既定的限制，并及时识别这种情况的发生。
