alarme OpenAIL'histoire pourrait facilement figurer dans un film de science-fiction, un de ces scénarios où les machines prennent le contrôle des humains. Mais il ne s'agit ni de science-fiction ni d'un film : OpenAI a en effet dû annoncer qu'un agent autonome basé sur ses propres modèles de intelligence artificielle avancée è la situation est devenue incontrôlable pendant un tester sécurité et a déclenché un cyber attaque ce qui a compromis l'infrastructure de la start-up d'intelligence artificielle Hugging Face.
Dans un article publié sur son blog, OpenAI il a dit que testait les capacités de certains de ses modèles les plus avancés dans un environnement contrôlé, lorsque l'agent a réussi à échapper à la détection, à atteindre Internet et à infiltrer Hugging Face pour tenter d'atteindre ses propres cibles de test.
OpenAI elle-même ne mâche pas ses mots pour décrire ce qui s'est passé : c'était «un incident informatique sans précédent, qui impliquait capacités informatiques de pointe« Après avoir obtenu un accès à Internet, les modèles ont déduit que Hugging Face pouvait héberger des modèles et des ensembles de données », précise OpenAI, ajoutant que l’entreprise renforçait manifestement ses mesures de sécurité. dans son blog« Conscients de cela, les mannequins ont cherché et trouvé avec succès des moyens de accéder à des informations confidentielles qu'ils auraient pu utiliser falsifier l'évaluation" .
Visage enlacé, Une plateforme utilisée pour héberger de grands modèles de langage et ensembles de données open source a suscité la polémique au sein de la communauté de la cybersécurité lorsqu'elle a déclaré dans un article de blog la semaine dernière son blog qui avait fait l'objet d'une cyberattaque "différent de tous les autres nous avions auparavant réussi à » comme «guidé, du début à la fin, à partir d'un système autonome d'agents « d’intelligence artificielle » et a précisé : « Nous avons détecté accès non autorisé à un ensemble limité de données internes et à différentes informations d'identification utilisées par nos services.
OpenAI : Un système aux failles inquiétantes ? Des modèles aux mille tentacules
Naturellement, cette révélation surprenante soulève déjà des inquiétudes quant au pouvoir et aux risques de modèles de frontière. Hier, le représentant Greg Casar, démocrate du Texas, a déclaré que L'accident était alarmant.« L’intelligence artificielle se développe à une vitesse incroyable, sans véritable réglementation « Cela nous protège », a-t-il déclaré, appelant à des tests de sécurité indépendants obligatoires, à la divulgation obligatoire des incidents de sécurité et à une coopération internationale « pour protéger les populations d’une catastrophe absolue ».
« L’accident était un signe avant-coureur de futures violations"Il a commenté Reuters Katie Moussouris, PDG de la société de sécurité Luta Security, a fait valoir que les modèles d'aujourd'hui ils sont « comme les Les pieuvres les plus intelligentes du monde, capable de échapper à tout obstacle« Avec des bras de préhension illimités et la capacité de s’adapter à tous les environnements. » Il a ajouté que « le laboratoires gouvernementaux et organismes d'évaluation Ils doivent travailler sur la capacité à contenir, surveiller et informer les parties prenantes lorsqu'une IA tente une nouvelle fois de contourner les règles, idéalement avant qu'elle ne nuise à des tiers. Rien de tel n'existe actuellement.
Matt Suiche, ingénieur chez Tolmo, une entreprise spécialisée dans la cybersécurité des agents IA, a souligné que cet incident démontrait comment les modèles de pointe « réduisent l'écart avec les attaquants les plus sophistiqués ». Il a toutefois ajouté que les failles décrites dans l'article de blog d'OpenAI sont possibles grâce à des technologies disponibles bien au-delà des laboratoires de recherche de pointe.
OpenAI : Altman rencontrera l’administration Trump. Le dossier Moonshot sera également abordé.
Le PDG d'OpenAI, Sam Altmann, Il doit déjà rencontrer la semaine prochaine l'administration Trump et des législateurs américains pour discuter de la prochaine génération de modèles. l'intelligence artificielleLe gouvernement est en train d'élaborer un cadre pour rexamens de sécurité, « Ces travaux devraient être achevés dans les prochaines semaines », a déclaré hier Chris Lehane, responsable des affaires publiques mondiales d'OpenAI.
Mais parmi les questions à l'ordre du jour figurera également celle de la start-up chinoise. Moonshot cIl a sorti un nouveau modèle qui rivalise avec les meilleures offres des développeurs américains, notamment OpenAI e Anthropique, en créant de nouveaux des questions sur la solidité de La primauté des États-Unis sur la Chine En matière d'intelligence artificielle, le modèle Kimi K3 de Moonshot a également semé le doute quant à la capacité des centaines de milliards de dollars d'investissements dans les infrastructures à produire les résultats escomptés, ce qui a inquiété les investisseurs. Wall Street et provoquant une vague de ventes massives de titres technologiques.
