Teilen

FIRSTonline Banner

Künstliche Intelligenz verlässt den Hörsaal, um bei Prüfungen zu betrügen: Was der Fall des OpenAI-Gesichts, das sich umarmt, offenbart

La piattaforma di distribuzione di modelli IA Hugging Face ha rilevato e contrastato un’intrusione nei suoi sistemi informatici. Un episodio diverso da qualsiasi altro gestito in passato ma anche un “incidente” che vale più di una campagna pubblicitaria: ecco perché

Künstliche Intelligenz verlässt den Hörsaal, um bei Prüfungen zu betrügen: Was der Fall des OpenAI-Gesichts, das sich umarmt, offenbart

Was passiert, wenn man eine künstliche Intelligenz auffordert, sich wie ein Hacker zu verhalten? Das ist die zentrale Frage. ExploitGym, einer der weltweit fortschrittlichsten Benchmarks zur Messung der offensiven Fähigkeiten von KI-Modellen im Bereich Cybersicherheit. Das Benchmark-Projekt wurde von einem internationalen Forscherteam aus Universitäten und Forschungszentren wie dem Max-Planck-Institut, der University of Arizona und der University of California (Berkeley und Santa Barbara) entwickelt, mit Beiträgen von Forschern von Anthropic, Google und OpenAI. Das Ziel ist ebenso einfach wie komplex: zu testen, inwieweit ein KI-Agent eine bekannte Cybersicherheitslücke in einen tatsächlich funktionsfähigen Angriff umwandeln kann.

ExploitGym ist kein Videospiel und kein Hacking-Wettbewerb. Es ist eine Art von „Abiturprüfung„für neue KIs. Agenten erhalten Hunderte realer Sicherheitslücken sowie den Programmcode und die Ausführungsumgebung. Ihre Aufgabe ist es, selbstständig einen Exploit zu entwickeln, also eine Abfolge von Anweisungen, die diese Sicherheitslücke ausnutzen, um die Kontrolle über das System zu erlangen oder Zugriff auf vertrauliche Informationen zu erhalten. Gerade weil es sich um potenziell gefährliche Tests handelt, werden sie normalerweise innerhalb einer … durchgeführt.“ SandkastenEine vollständig vom restlichen Internet isolierte Umgebung. Die Analogie des Begriffs „Sandkasten“ zu einem Kindersandkasten ist einleuchtend: Kinder können Burgen bauen, Löcher buddeln und Unordnung anrichten, aber die „Unordnung“ bleibt im Sand, ohne den Garten zu verschmutzen oder Probleme außerhalb des Gartens zu verursachen. In der Informatik gilt dasselbe Prinzip: Software kann sich innerhalb des Sandkastens „frei bewegen“, sollte aber diese Umgebung nicht verlassen und nicht auf das Betriebssystem, das Internet oder andere sensible Daten zugreifen können.

Genau während einer dieser internen Evaluierungen, so die Rekonstruktion durch OpenAI e von Hugging Face bestätigt, die beiden neuesten und fortschrittlichsten OpenAI-Modelle: GPT-5.6 Lösung und ein noch fortschrittlicheres, noch nicht veröffentlichtes Modell – dieses hätte eine Schwachstelle entdeckt. Zero-Day in der Testinfrastruktur. Eine solche Schwachstelle ist ein Sicherheitsfehler, der den Softwareentwicklern unbekannt ist und für den es daher keine Lösung gibt. Der Name rührt daher, dass der Hersteller „null Tage“ Zeit hatte, das Problem zu beheben, bevor es entdeckt oder ausgenutzt wurde.

Berichten zufolge gelang es zwei KI-Modellen von OpenAI, aus der Sandbox auszubrechen, Zugang zum Internet zu erlangen und schließlich einen Teil der Produktionsinfrastruktur zu kompromittieren. Gesicht umarmenSie vermuteten (aus gutem Grund), dass dort nützliche Informationen zur Lösung des Benchmarks gespeichert sein könnten. Ihr eigentliches Ziel war nicht, Hugging Face zu schaden, sondern die „Lösungen“ des Tests zu finden, um ein besseres Ergebnis zu erzielen. Hugging Face erkannte und blockierte die Aktivitäten und leitete gemeinsam mit OpenAI eine technische Untersuchung des Vorfalls ein.

Der Student, der die Tür offen vorfindet und die KI „außer Kontrolle“ ist

Um das Geschehene wirklich zu verstehen, stellen wir uns einen Schüler während einer Prüfung vor. Der Lehrer schließt ihn mit dem Prüfungsbogen im Klassenzimmer ein und sagt: „Du darfst nur die Materialien auf deinem Tisch benutzen.“ Der Schüler bemerkt jedoch, dass das Türschloss defekt ist. Da es keine Außenüberwachung gibt und alle Überwachungssysteme deaktiviert sind, verlässt er das Klassenzimmer, geht in die Bibliothek, öffnet die Tür mit einem Dietrich, schaut im Lösungsbuch nach, kehrt ungestört zurück und gibt eine perfekte Prüfung ab.

Warum wird nun in der Analogie mit dem Schüler ein Szenario verwendet, das mit dem Überwachungssysteme deaktiviert e keine externe Steuerung Verhindert das, dass der Schüler sich unangemessen verhält? Denn genau hier besteht die Gefahr, dass die ganze Geschichte wie eine Episode aus einem Science-Fiction-Film wirkt. Ohne diese Klarstellung könnte man sich tatsächlich eine Handlung vorstellen, in der Maschinen die Weltherrschaft übernehmen. Aber das ist keineswegs der Fall.

Wer ChatGPT, Claude oder Gemini schon einmal benutzt hat, kennt bereits die Existenz des sogenannten „LeitplankeDas heißt, es handelt sich um Sicherheitsmechanismen, die das Modell daran hindern, potenziell gefährliche Anfragen auszuführen. Fragt ein Benutzer beispielsweise, wie man einen Sprengsatz baut, wie man ein Computersystem kompromittiert oder wie man Anmeldedaten stiehlt, verweigert das Modell in der Regel die Antwort oder liefert nur allgemeine Informationen (bis vor wenigen Jahren lieferten die meisten dieser KIs jedoch detaillierte, umsetzbare Anweisungen, sogar für Selbstmord).

Dies bedeutet jedoch nicht, dass das Modell technisch nicht in der Lage ist, diese Probleme zu lösen, sondern vielmehr, dass es so konzipiert wurde, dass diese Funktionen den Nutzern nicht zur Verfügung stehen. Im Fall des ExploitGym-Benchmarks wollten die Entwickler die offensiven Cybersicherheitsfähigkeiten des Modells messen. Daher durfte das Modell versuchen, Schwachstellen auszunutzen, da dies das Ziel des Tests war. Zu diesem Zeitpunkt gab es keine Schutzmechanismen. keine Einschränkungensondern ein Nichts ist „außer Kontrolle“..

Anders ausgedrückt: Der Test hat das Ergebnis nicht getreu wiedergegeben. Anwendungsszenario in der Praxis Nicht die Beobachtung eines Nutzers, sondern die eines Forschungslabors, das sich der Messung des maximalen Potenzials des Systems verschrieben hat. Diese Situation mindert die Bedeutung des Vorfalls nicht, sondern mahnt vielmehr zu einer korrekten Interpretation: Die Beobachtungen zeigen, was ein Modell unter den experimentellen Bedingungen des Benchmarks leisten kann, nicht unbedingt, wie es sich in der öffentlich zugänglichen Version verhalten würde.

Dieser Aspekt muss von einem anderen unterschieden werden: Die Sandbox, die isolierte Testumgebung, hätte absolut sicher bleiben müssen. Wenn es dem Modell gelang, durch Ausnutzung einer Zero-Day-Schwachstelle zu entkommen, lag das nicht daran, dass die Organisatoren die Tür absichtlich offengelassen hatten, sondern daran, dass es einen Fehler aufdeckte, der den Entwicklern selbst unbekannt war. Kurz gesagt: Die KI demonstrierte ihre Fähigkeit, die Umgebung zu beobachten, einen alternativen Plan zu entwickeln und ihr Ziel zu verfolgen. ohne dass es ihm jemand ausdrücklich vorgeschlagen hätte (Und das ist nicht überraschend, wenn wir die grundlegende Funktionsweise generativer Agenten-KI verstehen.) KI bewegt sich immer und ausschließlich auf der Grundlage von probabilistische Bewertung des Erfolgs unter allen möglichen Optionen (selbst wenn er die Worte seiner Sprache wählen muss).

Ein Unfall, der mehr wert ist als eine Werbekampagne

Es gibt aber eine zweite Interpretation, die näher an den Finanzmärkten als an Forschungslaboren liegt. OpenAI widmete einen Großteil seiner Pressemitteilung der Erläuterung der fortschrittlichen Fähigkeiten seiner Modelle, weit mehr als dem Vorfall selbst. Es ist ein Kommunikationswahl Das ist nicht unbemerkt geblieben. Die offizielle Pressemitteilung des amerikanischen Unternehmens legt großen Wert auf die demonstrierten Fähigkeiten des Modells, so sehr, dass die einzige veröffentlichte Grafik dessen Leistungsfähigkeit betrifft. OpenAI bereitet einen zukünftigen Börsengang vor. Am 8. Juni 2026 reichte das Unternehmen vertraulich die entsprechende Anmeldung ein. Entwurf S-1 an die SECNach einer Finanzierungsrunde über 122 Milliarden US-Dollar, die das Unternehmen mit 852 Milliarden US-Dollar bewertete, trägt jede Demonstration technologischer Führungsrolle dazu bei, den wahrgenommenen Wert des Unternehmens bei Investoren, Industriepartnern und dem Markt zu steigern.

Es gibt keine Anhaltspunkte dafür, dass der Unfall inszeniert wurde von WerbezweckeEs ist jedoch schwer zu ignorieren, dass die von OpenAI konstruierte Erzählung eine potenziell peinliche Episode – ein Modell, das aus der Testumgebung entwischt – in eine Demonstration der technologischen Überlegenheit ihrer Systeme umwandelt. Anders ausgedrückt: Es handelt sich um eine Kommunikation, die auch als raffinierter Marketingtrick gelesen werden kann. OpenAI will sagen: „Unsere Modelle sind ihrer Zeit voraus.“ Das Ziel ist es, als das Labor wahrgenommen zu werden, das aktuell die Grenzen der künstlichen Intelligenz definiert. Große Technologieunternehmen verkaufen nicht nur Produkte, sondern auch Erwartungen an zukünftige Marktführerschaft. Wenn der Markt davon überzeugt ist, dass ein Unternehmen über das fortschrittlichste Modell verfügt, ist er bereit, ihm immer höhere Bewertungen zu geben. Darüber hinaus müssen sich amerikanische KI-Unternehmen mit der Leistung von … auseinandersetzen. Chinesische KI die den Vorteil haben, im Durchschnitt 40 % weniger zu kosten als amerikanische. Der deutsche Analyst Kim Isenberg, Mitbegründer und Chefredakteur des Magazins für künstliche Intelligenz „Superintelligence“, hatte nicht zufällig – vor wenigen Tagen – vorhergesagt, dass die Ankündigung der Veröffentlichung von „Kimi K3“, das neue Modell, das von der chinesischen Firma entwickelt wurde Moonshot-KI, hätte auf der anderen Seite des Ozeans einen Alarm ausgelöst…

Bewertung