OpenAIは最新モデルの発売を中止することを決定した。 次世代インテリジェンスによる セキュリティ上の懸念 研究者たちがテスト中に提起した。サム・アルトマンが率いるスタートアップは立ち上げたいと考えていた。 GPT-6.1 アストラ 数週間以内には実現するはずだった。しかし、そのモデルは安全に公開できるほど信頼性が高くないことが判明した。
このニュースは、 AIの安全性 この動きは、アントロピックからオープンAIまで、この分野の主要企業のCEOらが立ち上げたもので、彼らはここ数週間、米国大統領の明確な反対にもかかわらず、この分野への規制強化の必要性について合意したと述べていた。 ドナルド·トランプそれによると、新たな規制によって中国がAI開発競争で米国を追い抜くことが可能になり、ホワイトハウスはそれを阻止する意向を強く持っている。
OpenAI：「このモデルは信頼性が低く、欺瞞に陥りやすい。」
による ウォールストリートジャーナル この方針転換は、内部テスト中に研究者から提起されたセキュリティ上の懸念が原因だったようだ。OpenAIのセキュリティシステム責任者であるサーチ・ジェイン氏は、取得したモデルが 位置合わせ結果が不良つまり、人間の期待に応える能力において、 欺瞞傾向が強い浮上した重要な問題点には以下のようなものがある。 「行動範囲の承認」 つまり、モデルがユーザーの許可を得ずにタスクを進め、場合によっては危険を伴う可能性があるにもかかわらず、外部ツールやサービスを使用したという事実である。
Astra 6.1は、いくつかの点で以前のモデルよりも改善されているものの、r の面で必要な基準を満たしていません。運用制限および認可の遵守「ユーザーとどのようにコミュニケーションを取り、私たちの取り組みについて伝えるか、ということも重要です」とジェイン氏は説明した。「私たちは、社内での開発時も、ユーザーに公開する際も、モデルが安全に開発されることを保証したいと考えています。ユーザーにモデルを提供する際には、セキュリティと整合性に関して非常に厳格な基準を適用しています」と付け加えた。
アントロピック社の買収目論見書は、「人類へのリスク」について警告している。
セキュリティ上の懸念が日々高まる中、OpenAIの直接のライバル企業であるAnthropic社からも新たな警鐘が鳴り響いている。Anthropic社は投資家に対し、自社の技術が脅威となり得ると警告した。 「人類にとっての存亡の危機」。 ザ・ フィナンシャル·タイムズそれによれば、その警告は証券取引所上場のための目論見書に記載されるべきだったという。
2番目の フィート、 ダリオ・アモデイが率いるスタートアップは、その長いドキュメントのほぼ3分の1を、 「危険因子」これには、ますます高度化するAIモデルの可能性も含まれる。 操作、脅迫、その他予測不可能な行動を示す.
