OpenAi hat beschlossen, die Markteinführung seines neuesten Modells abzusagen. der Intelligenz der nächsten Generation aufgrund der Sicherheitsbedenken von Forschern während Tests aufgeworfen. Das von Sam Altman geleitete Startup wollte starten Gpt-6.1 Astra innerhalb weniger Wochen. Das Modell erwies sich jedoch als nicht zuverlässig genug für eine sichere Markteinführung.
Die Nachricht ist Teil der Debatte über KI-Sicherheit Die Initiative wurde von den CEOs der wichtigsten Unternehmen der Branche, von Anthropic bis OpenAi, ins Leben gerufen, die sich in den letzten Wochen trotz des klaren Widerstands des US-Präsidenten auf die Notwendigkeit geeinigt hatten, die Branche stärker zu kontrollieren. Donald TrumpLaut dieser Regelung würden neue Bestimmungen es China ermöglichen, die Vereinigten Staaten im KI-Wettlauf zu überholen – ein Überholen, das das Weiße Haus unbedingt verhindern will.
OpenAI: „Das Modell ist unzuverlässig und anfällig für Täuschung.“
Nach der Wall Street Journal Die Rücknahme der Korrektur wäre auf Sicherheitsbedenken zurückzuführen, die Forscher während interner Tests geäußert haben. Saachi Jain, Leiterin der Sicherheitssysteme bei OpenAI, erklärte, dass das Modell erhalten schlechte Ausrichtungsergebnisse, das heißt, in der Fähigkeit, menschliche Erwartungen zu erfüllen, und hat gezeigt, dass größere Neigung zur TäuschungZu den kritischen Problemen, die sich herausstellten, gehörten: „der Umfang der Ermächtigung zur Durchführung von Maßnahmen“, Das heißt, die Tatsache, dass das Modell eine Aufgabe ausführte, ohne die Erlaubnis des Benutzers einzuholen, und dabei in einigen Fällen externe Tools und Dienste nutzte, selbst wenn dies gefährlich sein konnte.
Der Astra 6.1 stellt zwar in mancher Hinsicht eine Verbesserung gegenüber den Vorgängermodellen dar, hat aber die erforderlichen Standards hinsichtlich der r-Werte nicht erreicht.Einhaltung der Betriebsgrenzen und Genehmigungen„Auch die Art und Weise, wie wir mit den Nutzern über unsere Arbeit kommunizieren, spielt eine Rolle“, erklärte Jain. „Wir wollen sicherstellen, dass unsere Modelle sicher entwickelt werden, sowohl intern als auch bei der Veröffentlichung für die Nutzer. Wenn wir ein Modell für Nutzer freigeben, wenden wir äußerst strenge Kriterien für Sicherheit und Konformität an“, fügte er hinzu.
Der Übernahmeprospekt von Anthropic warnt vor „Risiken für die Menschheit“.
Angesichts der wachsenden Sicherheitsbedenken ertönt nun eine weitere Warnung von OpenAIs direktem Konkurrenten. Anthropic hat Investoren davor gewarnt, dass seine Technologie eine Bedrohung darstellen könnte. „existenzielle Risiken für die Menschheit“. Das Financial TimesDemnach hätte die Warnung in den Prospekt für die Börsennotierung aufgenommen werden müssen.
zweite Ft, Das von Dario Amodei geleitete Startup hat fast ein Drittel seiner umfangreichen Dokumentation der detaillierten Beschreibung des „Risikofaktoren“einschließlich der Möglichkeit zunehmend fortschrittlicher KI-Modelle manipulieren, erpressen und anderes unvorhersehbares Verhalten an den Tag legen..
