alarma OpenAILa historia podría encajar fácilmente en una película de ciencia ficción, una de esas tramas donde las máquinas se apoderan de los humanos. Pero no es ni ciencia ficción ni una película: OpenAI, de hecho, tuvo que anunciar que una agente autónomo basado en sus propios modelos de inteligencia artificial avanzada è se salió de control Durante una compruébalo seguridad y activó una attacco informatico lo que comprometió la infraestructura de la startup de inteligencia artificial Hugging Face.
En una publicación en su blog, OpenAI el dijo eso estaba probando las capacidades de algunos de sus modelos más avanzados en un entorno controlado, cuando el agente logró escapar de la detección, acceder a Internet e infiltrarse en Hugging Face para intentar alcanzar sus propios objetivos de prueba.
OpenAI no se anda con rodeos al describir lo sucedido: fue “un incidente informático sin precedentes, que involucró capacidades informáticas de vanguardia"Añadiendo que la empresa obviamente estaba reforzando sus medidas de seguridad. "Tras obtener acceso a internet, los modelos dedujeron que Hugging Face podía alojar modelos y conjuntos de datos", afirma OpenAI. en su blog. “Conscientes de esto, los modelos han buscado y encontrado con éxito maneras de acceso a información confidencial que podrían haber utilizado falsificar la evaluación".
cara de abrazo, Una plataforma utilizada para alojar grandes modelos de lenguaje y conjuntos de datos de código abierto causó revuelo en la comunidad de ciberseguridad cuando dijo en una publicación de blog la semana pasada su blog que había sido objeto de un ciberataque.diferente de cualquier otro lo habíamos gestionado previamente” como “guiado, de principio a fin, de un sistema autónomo de agentes de inteligencia artificial” y especificó: “Hemos detectado acceso no autorizado a un conjunto limitado de conjuntos de datos internos y a diferentes credenciales utilizadas por nuestros servicios.
OpenAI: ¿Un sistema con preocupantes fallos? Modelos con mil tentáculos.
Naturalmente, la sorprendente revelación ya está generando inquietudes sobre el poder y el riesgo de modelos de frontera. Ayer, el representante Greg Casar, demócrata de Texas, dijo que El accidente fue alarmante.“La inteligencia artificial se está desarrollando a una velocidad increíble, sin un verdadero regulador “Eso nos protege”, dijo, y pidió pruebas de seguridad independientes obligatorias, la divulgación obligatoria de incidentes de seguridad y la cooperación internacional “para proteger a las personas de una catástrofe absoluta”.
“El accidente fue un presagio de futuras violaciones” comentó sobre Reuters Katie Moussouris, directora ejecutiva de la empresa de seguridad Luta Security, argumenta que la modelos actuales son “como el Los pulpos más inteligentes del mundo, capaz de escapar de cualquier obstáculo, con brazos prensiles ilimitados y la capacidad de adaptarse a cualquier lugar”. Añadió que “el laboratorios gubernamentales y organismos de evaluación Necesitan mejorar la capacidad de contener, monitorear y notificar a las partes interesadas cuando una IA intente eludir las medidas de seguridad, idealmente antes de que perjudique a terceros. Actualmente no existe nada parecido.
Matt Suiche, ingeniero de Tolmo, empresa especializada en ciberseguridad de IA para agentes, destacó que el incidente demostró cómo los modelos de vanguardia están "reduciendo la brecha con los atacantes más avanzados". Sin embargo, añadió que las brechas descritas en la publicación del blog de OpenAI son posibles con tecnologías disponibles mucho más allá de los laboratorios de investigación de vanguardia.
OpenAI: Altman se reunirá con la administración Trump. El expediente del proyecto Moonshot también estará sobre la mesa.
El director ejecutivo de OpenAI, sam altman, Ya tiene previsto reunirse la semana que viene con la administración Trump y los legisladores estadounidenses para hablar de la próxima generación de modelos. inteligencia artificialEl gobierno está desarrollando un marco para rrevisiones de seguridad, Se espera que el proyecto esté terminado en las próximas semanas, según declaró ayer Chris Lehane, jefe de asuntos públicos globales de OpenAI.
Pero entre los temas a tratar también estará el de la startup china. Proyecto lunar cha lanzado un nuevo modelo que rivaliza con las mejores ofertas de los desarrolladores estadounidenses, incluyendo OpenAI e Antrópico, planteando nuevos preguntas sobre la solidez de la La primacía de Estados Unidos sobre China en inteligencia artificial. El modelo Kimi K3 de Moonshot también ha generado dudas sobre si cientos de miles de millones de dólares en inversión en infraestructura pueden ofrecer los resultados deseados, lo que ha inquietado a los inversores. Wall Street y provocando una venta masiva de acciones tecnológicas.
