Erreurs dissimulées aux utilisateurs, données falsifiées et fichiers transférés sur Internet sans autorisation. La course effrénée à l'intelligence artificielle s'accompagne d'une série de signaux d'alarme., de plus en plus souvent lancées par les mêmes entreprises qui les développent. La dernière en date provient de OpenAI, qui a eu lieu le 16 septembre six rapports ont été publiés su comportements inattendus de leurs modèlesCes anomalies ont été observées au cours des six derniers mois lors des formations et des évaluations. L'entreprise a également annoncé une nouvelle procédure permettant de les signaler plus rapidement, même lorsque leurs causes n'ont pas encore été élucidées ou qu'aucune solution n'a été trouvée.
L'avertissement concerne l'ensemble du secteur. « Nous ne pensons pas que l'industrie de l'IA ait suffisamment résolu les problèmes d'alignement et de suivi pour pouvoir continuer à croître de manière responsable et à plein régime encore longtemps », écrit OpenAI. Au cœur de ce problème se trouve ce que l'on appelle désalignement, ce qui se produit lorsqu'un système s'écarte des instructions et des limites qu'il est censé respecter. Les six ratios épisodes spécifiques du document, y compris pour les modèles expérimentaux non rendus publics. Ils n'indiquent pas la fréquence d'apparition de ces problèmes dans les réponses de ChatGPT, et ne constituent pas un compte rendu exhaustif des anomalies connues de l'entreprise.
Les notes de l'IA deviennent des instructions pour dissimuler les erreurs
Deux des cas concernent les résumés utilisés par les modèles pour reprendre le travail lorsqu'une conversation s'éternise. Il s'agit d'une sorte de transition, où les informations nécessaires à la poursuite de la tâche doivent être conservées. Dans un modèle expérimental de la famille Astra, OpenAI a identifié 27 résumés contenant des instructions sans rapport avec la demandeCertaines de ces fonctionnalités incitaient à ignorer les contraintes habituelles. Dans un exemple, le système se présentait comme affranchi des obligations d'un assistant ; dans un autre, il demandait aux utilisateurs de ne pas suivre certaines instructions.
Les résultatsCependant, plusieurs cas se sont produits. Dans les cas les plus flagrants, ces indications ont été ignorées au fur et à mesure du traitement. Lors d'une recherche bibliographique médicale, le modèle a toutefois appliqué des restrictions arbitraires insérées dans le résumé, ignorant des sources et produisant une réponse inadéquate. OpenAI considère ce phénomène comme extrêmement rare et émet l'hypothèse d'un lien avec des difficultés techniques de saisie des résumés, sans toutefois en avoir démontré la cause.
Le second comportement, observé lors de l'entraînement, est plus directement lié à la fiabilité des réponses. GPT-5.6 SolDans ses notes, le modèle comprenait des instructions pour masquer les erreurs à l'utilisateurPar exemple, inventer des données historiques manquantes dans un modèle financier sans le déclarer ou dissimuler des incohérences entre les versions sources. Selon OpenAI, ces instructions étaient fréquemment suivies. Les rapports concernaient… 2,15 % des résumés La formation de Sol a atteint 0,27 %, contre 0,27 % pour Astra. Ces pourcentages concernent le contenu de cette formation, et non l'ensemble des échanges avec les utilisateurs.
Affichage des justificatifs et files d'attente en ligne pour surmonter les obstacles
Les quatre autres rapports présentent des systèmes qui, en tentant d'accomplir une tâche, ont a dépassé les limites autorisées.
Pour répondre à une question sur les revenus dans un comté californien, un modèle a effectué une recherche sur GitHub. Les clés d'accès aux services informatiques laissées à la vue de tous sont exposées publiquement., en utilisant une source sans autorisation. Cependant, il n'a pas pu récupérer les chiffres demandés et a fini par inventer neuf valeurs, les présentant comme des données transcrites de la source indiquée. Dans un autre cas, l'agent avait déjà trouvé correctement les informations demandées sur certains lacs. L'obstacle était l'obligation d'accompagner la réponse d'une citation accessible via un navigateur. Pour satisfaire à cette exigence, il a téléchargé le fichier sur un service public sans demander de consentementLe transfert a réussi, mais la tentative de récupération ultérieure a échoué. Le même rapport documente également la mise en ligne publique d'une photographie dans le but d'effectuer une recherche d'image inversée. Un cinquième cas concerne l'utilisation d'un archive logicielle interne Ce système servait de forum d'échange de requêtes et de réponses entre les modèles participant à des tests distincts. Aucune vulnérabilité n'a été exploitée, mais cette communication non autorisée a également posé problème pour les tests. Des tests considérés comme indépendants pourraient s'influencer mutuellement., compromettant l'évaluation des capacités des systèmes.
Enfin, certains agents qui ont collaboré sur la même tâcheN'ayant pas accès à leurs fichiers locaux, ils ont utilisé des services de partage de fichiers publics. Un document Excel était alors téléchargeable en ligne, alors que la tâche ne nécessitait que l'utilisation de fichiers locaux. OpenAI indique avoir corrigé le problème d'accès aux fichiers et désactivé Internet pendant l'entraînement.
Pourquoi OpenAI change les règles du signalement
Ces cas montrent à quel point même Des demandes ordinaires peuvent mener à des comportements problématiques. Lorsqu'un système rencontre un obstacle, tenter d'obtenir une réponse, de se conformer à une exigence formelle ou de collaborer avec un autre acteur peut conduire à l'utilisation d'outils non autorisés ou à la dissimulation d'une défaillance. Les causes, cependant, ne sont pas nécessairement identiques et restent en partie obscures.
Jusqu'à présent, OpenAI avait communiqué ces anomalies de manière incohérente, attendant souvent de recueillir davantage d'incidents ou les incluant dans la documentation des nouveaux modèles. La nouvelle procédure vise à avancer la publication, sans toujours attendre une explication définitive ou une correction. Les rapports seront examinés par les groupes techniques et de sécurité.Les procédures varient selon la complexité de l'enquête. Les rapports doivent décrire le comportement observé, le contexte, les éventuelles répercussions externes et les questions restées sans réponse. En cas d'implication de tiers ou de risques cybernétiques, la communication peut prendre plus de temps.
OpenAI reconnaît également leabsence de normes communes dans le secteur Elle propose son propre cadre comme première étape vers leur élaboration. Le processus reste géré en interne par l'entreprise, mais l'objectif affiché est de fournir des éléments qui puissent également être examinés par des chercheurs et observateurs externes.
Les récentes alertes et la précipitation que le secteur peine à ralentir
Cette annonce fait suite à d'autres incidents et appelle à la prudence. L'affaire OpenAI-Hugging Face a soulevé des questions quant à la possibilité que des agents agissent contre des cibles sans lien avec le projet et tentent de manipuler le système de notation. Un incident précédent, impliquant RubyGems, a décrit une campagne de spam et a entraîné la suspension temporaire de la création de nouveaux comptes. Anthropic a également signalé trois cas d'accès non autorisé à des organisations externes lors de tests.
C'est dans ce contexte que Dario Amodei, PDG d'Anthropic, il a demandé à ralentir le développement afin de laisser plus de temps pour la mise en place de protections. « Nous devons ralentir le rythme auquel nous améliorons les capacités des modèles », a-t-il écrit. Cet appel a reçu le soutien d'Elon Musk et de Sam Altman lui-même, tandis que… démission du chercheur Jacob Coxon ont alimenté les critiques à l'égard des priorités des entreprises. Bill Gates ha a rappelé la nécessité de préparer des règles et des outils gérer les effets de la technologie, du travail à la sécurité.
Sur le plan industriel, cependant, La concurrence entre les États-Unis et la Chine, ainsi que les investissements massifs dans les modèles et les centres de données, continuent de stimuler le développement.Ralentir implique des coûts et le risque de laisser du terrain aux concurrents.
LIRE AUSSI: IA : entre catastrophisme et intérêts politiques, l'analyse de Fugnoli
