OpenAi a décidé d'abandonner le lancement de son dernier modèle de l'intelligence de nouvelle génération grâce à préoccupations en matière de sécurité soulevé par les chercheurs lors des tests. La start-up dirigée par Sam Altman souhaitait lancer Gpt-6.1 Astra En quelques semaines, le modèle s'est avéré insuffisamment fiable pour être commercialisé en toute sécurité.
Cette information s'inscrit dans le cadre du débat sur sécurité de l'IA lancé par les PDG des principales entreprises du secteur, d'Anthropic à OpenAi, qui avaient déclaré ces dernières semaines être d'accord sur la nécessité d'imposer des contrôles plus stricts au secteur malgré l'opposition manifeste du président américain Donald Trump, selon lesquelles de nouvelles réglementations permettraient à la Chine de dépasser les États-Unis dans la course à l'IA, un dépassement que la Maison Blanche entend bien empêcher.
OpenAi : « Le modèle est peu fiable et sujet à la tromperie. »
Selon la Wall Street Journal Ce revirement était apparemment dû à des problèmes de sécurité soulevés par les chercheurs lors de tests internes. Saachi Jain, responsable des systèmes de sécurité chez OpenAi, a expliqué que le modèle obtenu résultats d'alignement médiocres, c'est-à-dire dans sa capacité à répondre aux attentes humaines, et a démontré une plus grande propension à tromperParmi les questions cruciales qui ont émergé, on peut citer : « le champ d’application de l’autorisation d’action », c’est-à-dire le fait que le modèle ait procédé à une tâche sans demander la permission de l’utilisateur et, dans certains cas, ait utilisé des outils et des services externes même si cela pouvait être dangereux.
L'Astra 6.1, « bien que représentant une amélioration par rapport aux modèles précédents à certains égards, n'a pas atteint les normes requises en termes de… »respect des limites et autorisations d'exploitation« Nous accordons une grande importance à la manière dont nous communiquons avec les utilisateurs au sujet de notre travail », a expliqué Jain. « Nous voulons garantir que nos modèles sont développés en toute sécurité, tant en interne qu’au moment de leur mise à disposition des utilisateurs. Lorsque nous mettons un modèle à disposition, nous appliquons des critères de sécurité et de conformité extrêmement rigoureux », a-t-il ajouté.
Le document d'information relatif à l'acquisition d'Anthropic met en garde contre les « risques pour l'humanité ».
Alors que les préoccupations sécuritaires s'accroissent de jour en jour, un autre signal d'alarme retentit, provenant du concurrent direct d'OpenAI. Anthropic a averti les investisseurs que sa technologie pourrait constituer une menace. « des risques existentiels pour l’humanité ». le Financial Times, selon lequel l'avertissement aurait dû être inclus dans le prospectus d'introduction en bourse.
Secondo Pi, La start-up dirigée par Dario Amodei a consacré près d'un tiers de sa longue documentation à la description détaillée de « facteurs de risque », y compris la possibilité de modèles d'IA de plus en plus avancés manipuler, faire du chantage et adopter d'autres comportements imprévisibles.
