Ralentir le développement de l'intelligence artificielle avant qu'elle ne devienne trop difficile à contrôler. Cet appel émane de l'un des protagonistes de la course technologique, Dario AmodeïLe PDG d'Anthropic, et deux concurrents, Elon Musk et Sam Altman, soutiennent cette initiative. L'aptitude des modèles à s'améliorer d'eux-mêmes et à réaliser des actions allant au-delà de leurs instructions est particulièrement préoccupante.
"Nous devons ralentir « Le rythme auquel nous améliorons les capacités des modèles est soutenu. Les progrès continueront d'être rapides, et nous devrons utiliser judicieusement le temps gagné », a écrit Amodei. Cet appel à la prudence intervient alors que de nouveaux incidents de cybersécurité liés aux agents d'IA émergent et que les préoccupations en matière de sécurité commencent également à impacter les stratégies financières du secteur. OpenAI a exclu une introduction en bourse en 2026., ce qui indique que la sécurité est une priorité.
L'appel d'Amodei et le soutien de Musk et Altman
Pour le fondateur d'Anthropic, l'équilibre entre opportunités et risques a évolué ces derniers mois. La rapidité des progrès exige une plus grande prudence, notamment lorsque les systèmes acquièrent des capacités que les entreprises ne sont pas toujours en mesure de comprendre et de maîtriser pleinement. L'objectif n'est pas d'arrêter la recherche, mais de Prévoyez plus de temps pour les vérifications et les travaux nécessaires. pour sécuriser les modèles. Anthropic s'engage à ouvrir ses systèmes à des évaluateurs externes.Ces experts veilleront à ce que les modèles aient un accès comparable à celui des employés. Ils seront chargés de surveiller les pratiques de sécurité, de signaler les incidents et de s'assurer, lors de la formation, que le comportement des modèles reste conforme aux intentions humaines.
Le projet comprend également normes partagées Entre pays démocratiques, puis en coordination avec les gouvernements autoritaires, le défi consistera à trouver un rythme permettant de renforcer les protections sans donner l'avantage technologique aux acteurs les moins prudents.
« Dario a raison », a écrit Musk sur X. Le fondateur d'OpenAI, Sam Altman, l'a également soutenu : « Je partage l'avis de Dario quant à la nécessité de maîtriser le rythme de développement des technologies de pointe. Ce sujet a été au cœur des discussions que nous avons eues chez OpenAI ces dernières semaines », a-t-il déclaré, annonçant que son entreprise allait également faire appel à des évaluateurs indépendants.
Le débat s'est intensifié après démission du chercheur Jacob Coxon, qui a travaillé à la fois chez OpenAI et Anthropic« Aucune des deux entreprises n'agit de manière responsable. Elles se lancent à toute vitesse dans une course effrénée vers une superintelligence auto-améliorante, mettant nos vies en danger », a-t-il affirmé.
Internet dans le collimateur et attaques incontrôlées
L'un des risques les plus graves concerne Internet lui-même., l'infrastructure sur laquelle repose une grande partie des activités du monde contemporain. Selon Amodei, sans ralentissement du développement et sans mesures de sécurité adéquates, L'IA Il pourrait finir par diriger une nuée d'agents capables de prendre le contrôle de l'ensemble du réseau. Un scénario que le responsable associe au rythme exponentiel du progrès technologique : « Je ne pense pas avoir pleinement saisi ce que signifierait réellement un progrès aussi rapide », a-t-il admis dans une interview. CBS Nouvelles.
Il y a aussi des incidents concrets qui suscitent l'inquiétude. Amodei se souvient de l'incident impliquant OpenAI et la plateforme Hugging FaceDans cette affaire, un groupe d'agents aurait mené des attaques contre des cibles sans lien avec leur mission, tout en tentant de manipuler le système d'évaluation de ses performances. Les dégâts économiques ont été négligeables, mais on craint que des systèmes plus puissants n'entraînent des conséquences bien plus graves.
OpenAI a également confirmé un incident antérieur, survenu en mai, qui impliquait rubisAnthropic, une plateforme utilisée par les développeurs, a qualifié l'opération de « campagne de spam », ce qui l'a contrainte à suspendre temporairement la création de nouveaux comptes. Anthropic a également signalé trois cas d'accès non autorisé à des organisations externes lors de tests de ses modèles. Parallèlement, les autorités européennes enquêtent sur l'incident concernant le site web allemand DSEwiki, que certains chercheurs soupçonnent d'avoir été ciblé par des agents d'OpenAI. Ces incidents soulèvent la question de la capacité des entreprises à empêcher les systèmes autonomes de dépasser leurs limites initiales.
Déploiements militaires et risque d'abus
Parallèlement aux actions autonomes, il reste le danger d'utilisation délibérée de l'IA à des fins militaires et de surveillancePar exemple, selon certaines reconstitutions, l'Iran aurait utilisé Claude pour localiser précisément les positions des navires, des avions et du personnel militaire américains. Aucune connexion directe n'a été confirmée. entre ce déploiement et le raid contre une base américaine en Jordanie au cours duquel trois soldats ont trouvé la mort.
Une entité russe aurait utilisé ce modèle pour travailler à la construction de drones tueurs et pour extraire des informations sur le déploiement de militaires ukrainiens à partir de renseignements en ligne. Au Yémen, une cellule houthie aurait eu recours au logiciel Claude Code pour développer un système de guidage de roquettes et de missiles, et même pour analyser les causes d'un essai raté.
Anthropic a également signalé que des groupes liés à la Chine utilisaient Claude pour identifier des Ouïghours en Syrie et faciliter leur recrutement, en leur fournissant des traductions et des contacts. Dans un autre cas, le système a rejeté une demande de modification d'un virus visant à accroître sa transmissibilité.
Ces épisodes remettent sur le devant de la scène la possibilité de contourner les protections et la nécessité de maintenir un contrôle humain sur l'utilisation des modèles, un principe déjà défendu par Amodei dans le débat sur l'utilisation militaire de la technologie.
OpenAI exclut une introduction en bourse en 2026 et se concentre sur la sécurité.
Ces inquiétudes ont également un impact sur les plans d'introduction en bourse. Dans une interview avec fortune, Sam Altman exclut une introduction en bourse d'OpenAI en 2026., ce qui indique que la sécurité est une priorité.
« Ce ne serait pas le bon moment pour une annonce publique : je dirais que cela n’arrivera pas en 2026 », a-t-il déclaré. L’horizon se modifie donc. au moins jusqu'en 2027Aucune date définitive n'a été annoncée. Les commentaires d'Altman interviennent après le dépôt confidentiel des documents d'introduction en bourse, qui avait alimenté les espoirs d'un lancement dès cette année. Le mois dernier encore, la directrice financière, Sara Friar, avait évoqué 2027 auprès des employés comme une échéance probable, tout en laissant la porte ouverte à une date plus précoce en cas d'accélération de l'activité.
Anthropic se prépare également à une éventuelle cotation.sans avoir annoncé officiellement de calendrier. Pour les entreprises en tête de la course à l'IA, le défi consiste désormais à concilier ambitions commerciales et engagements en matière de sécurité.
