Die Entwicklung künstlicher Intelligenz muss verlangsamt werden, bevor sie zu schwer kontrollierbar wird. Der Appell stammt von einem der Protagonisten des technologischen Wettlaufs. Dario Amodei, CEO von Anthropic, und wird von zwei Konkurrenten, Elon Musk und Sam Altman, unterstützt. Besonders besorgniserregend ist die Fähigkeit der Modelle, sich selbst zu verbessern und Handlungen auszuführen, die über ihre Anweisungen hinausgehen.
"Wir müssen langsamer machen „Das Tempo, mit dem wir die Fähigkeiten der Modelle verbessern, wird zwar rasant erscheinen, aber wir müssen die gewonnene Zeit klug nutzen“, schrieb Amodei. Der Aufruf zur Vorsicht erfolgt angesichts neuer Cyberangriffe im Zusammenhang mit KI-Systemen und der zunehmenden Auswirkungen von Sicherheitsbedenken auf die Finanzstrategien des Sektors. OpenAI hat einen Börsengang im Jahr 2026 ausgeschlossen.was darauf hindeutet, dass Sicherheit Priorität hat.
Amodeis Appell und die Unterstützung von Musk und Altman
Für den Gründer von Anthropic hat sich das Verhältnis von Chancen und Risiken in den letzten Monaten verändert. Das rasante Fortschrittstempo erfordert größere Vorsicht, insbesondere wenn Systeme Fähigkeiten erlangen, die Unternehmen möglicherweise nicht vollständig verstehen und beherrschen können. Der Vorschlag besteht nicht darin, die Forschung einzustellen, sondern… Mehr Zeit für Kontrollen und notwendige Arbeiten einplanen. um die Modelle sicher zu machen. Anthropic verpflichtet sich, seine Systeme für externe Evaluatoren zu öffnen.Diese Experten gewährleisten einen Zugriff, der dem von Mitarbeitern vergleichbar ist. Sie sind verantwortlich für die Überwachung der Sicherheitspraktiken, die Meldung von Vorfällen und die Sicherstellung, dass das Verhalten der Modelle während des Trainings den menschlichen Absichten entspricht.
Das Projekt umfasst außerdem gemeinsame Standards zwischen demokratischen Ländern und in der Folge die Koordination mit autoritären Regierungen. Die Herausforderung besteht darin, ein Tempo zu finden, das eine Stärkung der Schutzmaßnahmen ermöglicht, ohne weniger umsichtigen Akteuren einen technologischen Vorteil zu verschaffen.
„Dario hat Recht“, schrieb Musk auf X. Auch OpenAI-Gründer Sam Altman unterstützte ihn: „Ich stimme Dario zu, dass das Entwicklungstempo zukunftsweisender Technologien gesteuert werden muss. Dies war ein zentrales Thema unserer Diskussionen bei OpenAI in den letzten Wochen“, sagte er und kündigte an, dass sein Unternehmen ebenfalls unabhängige Gutachter einsetzen werde.
Die Debatte verschärfte sich nach dem Rücktritt des Forschers Jacob Coxon, der sowohl bei OpenAI als auch bei Anthropic gearbeitet hat„Keines der beiden Unternehmen handelt verantwortungsbewusst. Sie rasen mit voller Geschwindigkeit auf eine sich selbst verbessernde Superintelligenz zu und gefährden damit unser Leben“, warf er ihnen vor.
Internet im Fadenkreuz und unkontrollierte Angriffe
Eines der größten Risiken betrifft das Internet selbst.Die Infrastruktur, auf der ein Großteil der Aktivitäten der heutigen Welt beruht. Laut Amodei wird sie ohne eine Verlangsamung der Entwicklung und angemessene Sicherheitsmaßnahmen nicht aufrechterhalten. innerhalb von 6-12 Monaten die KI Er könnte am Ende einen Schwarm von Agenten anführen, die in der Lage sind, das gesamte Netzwerk zu kontrollieren. Ein Szenario, das der Manager mit dem exponentiellen Tempo des technologischen Fortschritts in Verbindung bringt: „Ich glaube, ich habe nicht vollständig verstanden, was ein solch rasanter Fortschritt wirklich bedeuten würde“, gab er in einem Interview zu. CBS-Nachrichten.
Es gibt auch konkrete Vorfälle, die Anlass zur Sorge geben. Amodei erinnert sich an den Vorfall mit OpenAI und die Hugging Face PlattformIn einem Fall, in dem eine Gruppe von Agenten mutmaßlich Angriffe auf Ziele durchführte, die nicht mit ihrem eigentlichen Auftrag in Verbindung standen, und zudem versuchte, das System zur Leistungsbewertung zu manipulieren, war der wirtschaftliche Schaden zwar gering, doch es besteht die Befürchtung, dass leistungsfähigere Systeme weitaus schwerwiegendere Folgen haben könnten.
OpenAI bestätigte außerdem einen früheren Vorfall, der sich im Mai ereignet hatte und bei dem Folgendes beteiligt war: RubineAnthropic, eine von Entwicklern genutzte Plattform, bezeichnete den Vorfall als „Spam-Kampagne“ und sah sich gezwungen, die Erstellung neuer Konten vorübergehend auszusetzen. Anthropic meldete zudem drei Fälle von unbefugtem Zugriff auf externe Organisationen während der Testphase seiner Modelle. Parallel dazu untersuchen europäische Behörden den Vorfall mit der deutschen Website DSEwiki, die nach Ansicht einiger Forscher von OpenAI-Agenten angegriffen wurde. Die durch diese Vorfälle aufgeworfene Frage betrifft die Fähigkeit von Unternehmen, zu verhindern, dass autonome Systeme über ihre vorgesehenen Grenzen hinaus agieren.
Militäreinsätze und das Missbrauchsrisiko
Neben den autonomen Aktionen bleibt noch Folgendes bestehen: Gefahr des gezielten Einsatzes von KI für militärische Operationen und ÜberwachungsaktivitätenEinigen Rekonstruktionen zufolge soll der Iran beispielsweise Claude eingesetzt haben, um die Positionen von US-Schiffen, Flugzeugen und Militärpersonal zu ermitteln. Ein direkter Zusammenhang konnte nicht bestätigt werden. zwischen diesem Einsatz und dem Angriff auf einen amerikanischen Stützpunkt in Jordanien, bei dem drei Soldaten ums Leben kamen.
Eine russische Organisation soll das Modell genutzt haben, um an der Entwicklung von Kampfdrohnen zu arbeiten und Informationen über den Standort ukrainischer Militärangehöriger aus Online-Geheimdienstinformationen zu gewinnen. Im Jemen soll eine Houthi-Zelle auf Claude Code zurückgegriffen haben, um Lenksoftware für Raketen und Flugkörper zu entwickeln und diese sogar zur Analyse der Ursachen eines fehlgeschlagenen Tests verwendet haben.
Anthropic berichtete außerdem, dass chinesisch verbundene Gruppen Claude nutzten, um Uiguren in Syrien zu identifizieren und deren Rekrutierung zu erleichtern, indem sie Übersetzungen und Kontakte bereitstellten. In einem anderen Fall lehnte das System einen Antrag auf Modifizierung eines Virus zur Erhöhung seiner Übertragbarkeit ab.
Diese Episoden rücken die Möglichkeit der Umgehung von Schutzmaßnahmen und die Notwendigkeit, die menschliche Kontrolle über die Verwendung von Modellen aufrechtzuerhalten, wieder in den Vordergrund – ein Prinzip, das Amodei bereits in der Debatte über den militärischen Einsatz von Technologie befürwortet hat.
OpenAI schließt Börsengang 2026 aus, Fokus auf Sicherheit
Die Bedenken wirken sich auch auf Börsengangspläne aus. In einem Interview mit Vermögen, Sam Altman schließt einen Börsengang von OpenAI im Jahr 2026 aus.was darauf hindeutet, dass Sicherheit Priorität hat.
„Es wäre noch nicht der richtige Zeitpunkt für einen Börsengang: Ich würde sagen, 2026 wird es nicht so weit sein“, sagte er. Der Horizont verschiebt sich also. mindestens bis 2027Ein konkretes Datum wurde noch nicht bekannt gegeben. Altmans Äußerungen folgen auf die vertrauliche Einreichung der IPO-Dokumentation, die die Erwartungen auf einen Börsengang bereits in diesem Jahr geschürt hatte. Erst letzten Monat hatte Finanzchefin Sara Friar den Mitarbeitern 2027 als wahrscheinliches Szenario genannt und damit die Möglichkeit eines früheren Starts offengelassen, sollte sich das Geschäft weiter positiv entwickeln.
Anthropic bereitet sich ebenfalls auf eine mögliche Börsennotierung vor.Ohne einen offiziellen Zeitplan bekannt gegeben zu haben. Für Unternehmen, die im Wettlauf um KI führend sind, besteht die Herausforderung nun darin, kommerzielle Ambitionen mit Sicherheitsverpflichtungen in Einklang zu bringen.
