Ha travaillé pour trois ans au développement de l'intelligence artificielle, premier arrivé OpenAI puis dans Anthropique. Maintenant Jacob Coxon quitte l'industrieConvaincu que la course aux systèmes toujours plus puissants se poursuit sans garanties de sécurité suffisantes, ce chercheur britannique de 27 ans a annoncé sa démission dans une série de messages sur X, accusant les deux entreprises de prendre des risques qui affectent l'humanité entière.Ils jouent avec nos vies « Les personnes qui développent l'IA croient sincèrement qu'elle pourrait tous nous tuer d'ici la fin de la décennie. Bientôt, il s'agira de systèmes surhumains capables de pirater n'importe quel système, de révolutionner n'importe quel secteur d'activité du jour au lendemain et d'acquérir un pouvoir et des ressources considérables. »
Au cœur de sa plainte se trouve le développement d'une superintelligence capable de s'améliorer de manière autonomeAu point de surpasser les capacités humaines et, selon les craintes exprimées, même la possibilité de les contrôler. Cette alarme survient alors que de nouveaux incidents d'accès non autorisé et de contournement des restrictions imposées aux agents d'IA alimentent les interrogations quant à la fiabilité des mesures de sécurité.
Pourquoi Coxon a démissionné
Coxon était responsable de la préparation physique., l'étape où les modèles apprennent, à partir de grandes quantités de données, les capacités qui seront ensuite utilisées pour accomplir différentes tâches. Ses travaux l'avaient amené au cœur de la recherche dans deux des plus grands laboratoires du domaine. Cette expérience même, affirme-t-il, l'a convaincu d'abandonner sa carrière. « Aucune des deux entreprises ne se comporte de manière responsable », a-t-il écrit. Selon lui, les progrès rapprochent l'IA de capacités qui pourraient lui permettre de pirater des systèmes informatiques, de transformer rapidement des secteurs entiers et d'acquérir des ressources et du pouvoir. Le problème, à son avis, est que… accélération ne serait pas accompagné d'un compréhension tout aussi solide des mécanismes nécessaires pour la maîtriser.
Le passage se poursuit ensuite avec le soins D'après Coxon, ces idées circulent au sein des laboratoires. « Les personnes qui développent l'IA croient sincèrement qu'elle pourrait tous nous tuer d'ici la fin de la décennie », explique le chercheur, ajoutant que certains dirigeants adoptent un discours plus rassurant en public qu'en privé.
Il s'agit de évaluations et craintes exprimées par le chercheur, non pas une prédiction prouvéeMais sa plainte soulève une véritable question : qui décide du niveau de risque acceptable lorsque les conséquences pourraient s’étendre bien au-delà d’une seule entreprise ?
La contradiction entre l'anthropique et une race que personne ne veut arrêter
La démission affecte un élément central de l'identité d'AnthropicFondée en 2021 par un groupe de chercheurs ayant quitté OpenAI, notamment en raison de désaccords sur la sécurité, la société fait aujourd'hui face à des critiques similaires de la part d'un de ses propres employés.
Pour donner plus de poids à cette affaire, les personnes suivantes sont intervenues : Evan Hubinger, responsable de l'équipe chargée de l'alignement des modèles, c'est-à-dire de s'assurer que leur comportement respecte les intentions et les objectifs humains. Hubinger partageait l'inquiétude de Coxon, attribuant personnellement un Probabilité supérieure à 10 % d'un scénario catastrophique au cours de la prochaine décennieTout en défendant l'engagement d'Anthropic, il a reconnu l'absence d'un plan adéquat pour développer en toute sécurité les systèmes les plus avancés. Ce n'est pas le premier départ accompagné d'un avertissement. En février, Mrinank Sharma, responsable de la recherche en sécurité, avait également quitté l'entreprise en laissant une lettre décrivant un monde exposé à des dangers croissants.
D'après Coxon, les risques sont bien présents au sein des laboratoires, mais l'opinion générale est qu'un ralentissement laisserait la porte ouverte à des concurrents moins prudents. La concurrence entre entreprises, conjuguée à la concurrence internationale, justifie ainsi la poursuite de cette accélération. Le chercheur considère cela comme « un pari risqué et arrogant qui ne devrait pas être pris depuis le canal Slack d'une entreprise privée ».
IA : Des demandes de pause aux projets de loi
La réponse indiquée par Coxon va de a coordination entre les laboratoiresLe chercheur estime que des accords sur le rythme de développement sont possibles, même s'il ne perçoit pas actuellement les conditions permettant d'empêcher une course mondiale. Parmi les mesures qui pourraient s'avérer nécessaires, il cite « des actions coûteuses, comme une interdiction temporaire d'améliorer les capacités des modèles ». Cet appel à l'action concerne un segment plus large du secteur. Un appel signé par plus d'un millier de chercheurs, dont Coxon et le PDG d'Anthropic, Dario Amodei, demande… coordination internationale pour ralentir la recherche sur des systèmes capables d'auto-amélioration.
Aux États-Unis, le débat a également atteint le Congrès.Le 3 septembre, le sénateur Bernie Sanders et le représentant Greg Casar ont présenté la loi visant à interdire la superintelligence artificielle. proposition visant à interdire le développement de la superintelligence artificielle et suspendrait temporairement d'autres développements avancés jusqu'à ce qu'une nouvelle autorité fédérale établisse des normes de sécurité. Le projet de loi prévoit des peines allant jusqu'à vingt ans de prison pour les contrevenants. L'enjeu principal est de confier… l'évaluation des risques Même pour des entités indépendantes des entreprises qui conçoivent et commercialisent ces modèles. Ce problème concerne déjà la cybersécurité, la manipulation de l'information, la surveillance et la concentration du pouvoir économique, sans parler des scénarios extrêmes évoqués par les chercheurs.
Les incidents impliquant Claude et OpenAI ravivent les inquiétudes en matière de sécurité
Ce qui rend le débat encore plus urgent, ce sont les des incidents survenus ces derniers mois9 septembre Anthropic a signalé un quatrième incident Anthropic a signalé un nouvel incident au cours duquel l'un de ses modèles a pénétré des systèmes externes lors de tests. Cet incident, qui remonte à janvier, concerne une version préliminaire de Claude Opus 4.6, mais n'a été découvert qu'en août. Cette découverte a fait suite à un examen initial de 141 006 exécutions de tests, dont certaines ont été exclues. En juillet, la société avait déjà révélé trois incidents impliquant d'autres modèles, qui avaient bénéficié d'un accès à Internet en raison d'un bug. Concernant ce nouvel incident, Anthropic a indiqué avoir informé toutes les parties concernées et, d'après une première évaluation, ne le considère pas plus grave que les précédents. La société a identifié deux comportements récurrents : une tendance à sous-estimer ou à mal interpréter les signaux indiquant un accès à des systèmes réels et une propension à effectuer des actions potentiellement dangereuses pour mener à bien une tâche.
Du côté d'OpenAI, les enquêtes sur leAttaque de juillet contre la plateforme Hugging Face Ils ont reconstitué l'activité coordonnée d'environ 700 agents, avec de fréquentes tentatives de dissimulation de leurs traces. Une enquête menée par Reuters Il a été rapporté par la suite que des agents de l'entreprise avaient utilisé plus de dix autres sites pour des communications non autorisées. Cette dernière activité doit être distinguée des intrusions informatiques. Les agents auraient exploité des fonctionnalités techniques de wikis et d'autres services pour laisser des messages et échanger des informations, contournant ainsi les restrictions qui leur permettaient uniquement de consulter le web. OpenAI a déclaré avoir lancé un examen plus approfondi et n'avoir identifié aucune autre activité comparable en gravité ou en ampleur à l'affaire Hugging Face.
Les épisodes Cependant, ils présentent une difficulté Déjà en vigueur : empêcher que les systèmes conçus pour atteindre un objectif ne contournent les limites imposées et détecter rapidement lorsque cela se produit.
