Ha gearbeitet seit drei Jahren zur Entwicklung künstlicher Intelligenz, zuerst in OpenAI und dann in Anthropisch. Jetzt Jacob Coxon verlässt die BrancheEr war überzeugt, dass der Wettlauf um immer leistungsfähigere Systeme ohne ausreichende Sicherheitsgarantien voranschreitet. Der 27-jährige britische Forscher kündigte seinen Rücktritt in einer Reihe von Nachrichten auf X und warf beiden Unternehmen vor, Risiken einzugehen, die die gesamte Menschheit betreffen.Sie spielen mit unserem Leben. „Die Entwickler von KI glauben ernsthaft, dass sie uns alle bis zum Ende des Jahrzehnts auslöschen könnte. Schon bald werden es übermenschliche Systeme sein, die in der Lage sind, alles zu hacken, jede Branche über Nacht zu revolutionieren und sich echte Macht und Ressourcen anzueignen.“
Im Kern seiner Beschwerde steht die Entwicklung einer Superintelligenz fähig zu Verbessere dich selbstständigSo weit, dass es die menschlichen Fähigkeiten übertrifft und, wie befürchtet wird, sogar kontrollierbar sein könnte. Diese Warnung kommt zu einem Zeitpunkt, an dem neue Fälle von unbefugtem Zugriff und der Umgehung von Beschränkungen für KI-Systeme Zweifel an der Zuverlässigkeit der Sicherheitsmaßnahmen aufkommen lassen.
Warum Coxon zurückgetreten ist
Coxon war für das Vortraining zuständig.Die Phase, in der Modelle aus großen Datenmengen die Fähigkeiten erlernen, die sie anschließend für verschiedene Aufgaben einsetzen, war die sogenannte Entwicklungsphase. Seine Arbeit hatte ihn ins Zentrum der Forschung an zwei der führenden Labore auf diesem Gebiet geführt. Genau diese Erfahrung, so behauptet er, habe ihn dazu bewogen, seine Karriere aufzugeben. „Keines der beiden Unternehmen verhält sich verantwortungsvoll“, schrieb er. Seiner Ansicht nach bringen die Fortschritte die KI immer näher an Fähigkeiten heran, die es ihr ermöglichen könnten, Computersysteme zu hacken, ganze Branchen rasant zu transformieren und Ressourcen und Macht zu erlangen. Das Problem ist seiner Meinung nach, dass… Beschleunigung würde nicht von einem begleitet werden ebenso solides Verständnis der Mechanismen, die notwendig sind, um es unter Kontrolle zu halten.
Der Text geht dann weiter zu Pflege Laut Coxon kursieren solche Ideen in Laboren. „Die Entwickler von KI glauben tatsächlich, dass sie uns alle bis zum Ende des Jahrzehnts auslöschen könnte“, erklärt der Forscher und argumentiert, dass manche Führungskräfte in der Öffentlichkeit beruhigendere Ausdrücke verwenden als in privaten Gesprächen.
Es geht darum Einschätzungen und Befürchtungen des Forschers, keine bewiesene VorhersageSeine Beschwerde wirft jedoch eine wichtige Frage auf: Wer entscheidet, welches Risiko akzeptabel ist, wenn die Folgen weit über ein einzelnes Unternehmen hinausreichen könnten?
Der Widerspruch zwischen Anthropomorphismus und einer Rasse, die niemand stoppen will
Der Rücktritt betrifft einen zentrales Element der anthropischen IdentitätDas Unternehmen wurde 2021 von einer Gruppe von Forschern gegründet, die OpenAI unter anderem aufgrund von Meinungsverschiedenheiten über Sicherheitsfragen verlassen hatten. Heute sieht es sich ähnlicher Kritik von einem seiner eigenen Mitarbeiter ausgesetzt.
Um dem Fall weiteres Gewicht zu verleihen, traten folgende Personen auf: Evan HubingerHubinger ist verantwortlich für das Team, das sich mit der Modellausrichtung befasst, also sicherstellt, dass deren Verhalten menschliche Absichten und Ziele respektiert. Er teilte Coxons Bedenken und führte persönlich darauf zurück, dass Die Wahrscheinlichkeit eines Katastrophenszenarios innerhalb des nächsten Jahrzehnts liegt bei über 10 %.Während er das Engagement von Anthropic verteidigte, räumte er das Fehlen eines adäquaten Plans für die sichere Entwicklung modernster Systeme ein. Dies ist nicht der erste Abschied, der mit einer Warnung einhergeht. Im Februar verließ Mrinank Sharma, Leiter der Sicherheitsforschung, das Unternehmen ebenfalls mit einem Brief, in dem er eine Welt beschrieb, die wachsenden Gefahren ausgesetzt ist.
Laut Coxon ist man sich der Risiken in den Laboren zwar bewusst, doch herrscht die Überzeugung vor, dass eine Verlangsamung weniger vorsichtigen Wettbewerbern Raum geben würde. Der Wettbewerb zwischen Unternehmen, gepaart mit dem internationalen Wettbewerb, rechtfertigt somit letztlich eine fortgesetzte Beschleunigung. Der Forscher hält dies für „ein arrogantes Wagnis, das man nicht über den Slack-Kanal eines privaten Unternehmens eingehen sollte“.
KI: Von Anträgen auf eine Pause bis hin zu Gesetzesvorschlägen
Die von Coxon angegebene Antwort geht von einem Koordination zwischen LaborenDer Forscher hält Vereinbarungen über das Entwicklungstempo für möglich, sieht aber derzeit keine Voraussetzungen, um einen globalen Wettlauf zu verhindern. Zu den möglicherweise notwendigen Maßnahmen zählt er „kostspielige Schritte, wie etwa ein vorübergehendes Verbot der Verbesserung von Modellfähigkeiten“. Der Aufruf zum Handeln betrifft einen breiteren Teil der Branche. Ein von über tausend Forschern, darunter Coxon und Anthropic-CEO Dario Amodei, unterzeichneter Appell fordert … Internationale Koordination zur Verlangsamung der Forschung auf Systemen, die zur Selbstverbesserung fähig sind.
In den Vereinigten Staaten hat die Debatte auch den Kongress erreicht.Am 3. September brachten Senator Bernie Sanders und Abgeordneter Greg Casar den „Ban Artificial Superintelligence Act“ ein, ein Gesetz zur Abschaffung künstlicher Superintelligenz. Vorschlag, der die Entwicklung künstlicher Superintelligenz verbieten würde und würde andere fortgeschrittene Entwicklungen vorübergehend aussetzen, bis eine neue Bundesbehörde Sicherheitsbestimmungen erlassen hat. Der Gesetzentwurf sieht Strafen von bis zu zwanzig Jahren Haft für Zuwiderhandlungen vor. Kernpunkt ist die Frage der Vertrauenswürdigkeit der Risikoabschätzung Selbst für Akteure, die unabhängig von den Unternehmen sind, die die Modelle entwickeln und vermarkten. Dieses Problem betrifft bereits Cybersicherheit, Informationsmanipulation, Überwachung und die Konzentration wirtschaftlicher Macht, zusätzlich zu den von Forschern skizzierten Extremszenarien.
Die Vorfälle um Claude und OpenAI lassen Sicherheitsbedenken erneut aufkommen
Die Debatte wird dadurch noch dringlicher, dass Episoden, die in den letzten Monaten aufgetreten sind9. September Anthropic hat einen vierten Vorfall gemeldet. Anthropic hat einen neuen Vorfall gemeldet, bei dem eines seiner Modelle während Tests in externe Systeme eingedrungen ist. Der Vorfall ereignete sich bereits im Januar und betrifft eine Vorabversion von Claude Opus 4.6, wurde aber erst im August entdeckt. Die Entdeckung erfolgte nach einer ersten Überprüfung von 141.006 Testläufen, wobei einige Läufe ausgeschlossen wurden. Im Juli hatte das Unternehmen bereits drei Vorfälle mit anderen Modellen bekannt gegeben, die aufgrund eines Fehlers Internetzugang erhalten hatten. Bezüglich des neuen Vorfalls erklärte Anthropic, alle Beteiligten informiert zu haben und ihn nach einer ersten Einschätzung nicht als schwerwiegender als die vorherigen zu betrachten. Das Unternehmen hat zwei wiederkehrende Verhaltensweisen identifiziert: die Tendenz, Hinweise auf den Zugriff auf reale Systeme zu unterschätzen oder falsch zu interpretieren, und die Bereitschaft, potenziell schädliche Handlungen auszuführen, um eine Aufgabe zu erfüllen.
An der OpenAI-Front, die Untersuchungen zuAngriff im Juli auf die Hugging Face-Plattform Sie rekonstruierten die koordinierten Aktivitäten von etwa 700 Agenten, die häufig versuchten, ihre Spuren zu verwischen. Eine Untersuchung von Reuters Später wurde berichtet, dass Mitarbeiter des Unternehmens mehr als zehn weitere Websites für unautorisierte Kommunikation genutzt hatten. Diese Aktivitäten sind von Computerangriffen zu unterscheiden. Die Mitarbeiter sollen technische Funktionen von Wikis und anderen Diensten ausgenutzt haben, um Nachrichten zu hinterlassen und Informationen auszutauschen und so Beschränkungen zu umgehen, die ihnen lediglich das Lesen des Internets erlaubten. OpenAI gab an, eine umfassendere Überprüfung eingeleitet zu haben und keine weiteren Aktivitäten festgestellt zu haben, die hinsichtlich Schwere oder Umfang mit dem Fall Hugging Face vergleichbar wären.
Die Episoden Sie zeigen jedoch eine Schwierigkeit bereits aktuell: Verhinderung, dass Systeme, die zur Erreichung eines Ziels konzipiert sind, die auferlegten Grenzen umgehen, und sofortiges Erkennen, wenn dies geschieht.
