OpenAI ha decidido abandonar el lanzamiento de su último modelo. de inteligencia de próxima generación debido a la preocupaciones de seguridad planteado por los investigadores durante las pruebas. La startup liderada por Sam Altman quería lanzar Gpt-6.1 Astra En pocas semanas. Sin embargo, el modelo demostró no ser lo suficientemente fiable como para ser lanzado al mercado sin riesgos.
La noticia forma parte del debate sobre seguridad de la IA lanzada por los directores ejecutivos de las principales empresas del sector, desde Anthropic hasta OpenAi, quienes en las últimas semanas habían coincidido en la necesidad de imponer mayores controles en el sector a pesar de la clara oposición del presidente de Estados Unidos. Donald TrumpSegún dichas regulaciones, China superaría a Estados Unidos en la carrera por la IA, un avance que la Casa Blanca tiene toda la intención de impedir.
OpenAI: "El modelo no es fiable y es propenso al engaño."
De acuerdo con el Wall Street Journal El retroceso se debería a las preocupaciones de seguridad planteadas por los investigadores durante las pruebas internas. Saachi Jain, jefe de sistemas de seguridad en OpenAi, explicó que el modelo obtenido resultados de alineación deficientes, es decir, en la capacidad de satisfacer las expectativas humanas, y ha demostrado una mayor propensión a engañarEntre los problemas críticos que surgieron se encuentran: “el alcance de la autorización de acción”, Es decir, el hecho de que el modelo procediera con una tarea sin pedir permiso al usuario y, en algunas ocasiones, utilizara herramientas y servicios externos, incluso si esto pudiera ser peligroso.
Astra 6.1, “si bien representa una mejora con respecto a los modelos anteriores en algunos aspectos, no ha alcanzado los estándares requeridos en términos de rcumplimiento de los límites operativos y las autorizaciones«Además, nos preocupa cómo nos comunicamos con los usuarios acerca de nuestro trabajo», explicó Jain. «Queremos garantizar que nuestros modelos se desarrollen de forma segura, tanto dentro de la empresa como cuando se lanzan para los usuarios. Cuando ponemos un modelo a disposición de los usuarios, aplicamos criterios extremadamente rigurosos de seguridad y coherencia», añadió.
El folleto informativo de la adquisición de Anthropic advierte de "riesgos para la humanidad".
Ante la creciente preocupación por la seguridad, suena otra alarma proveniente del principal rival de OpenAI. Anthropic ha advertido a los inversores que su tecnología podría representar una amenaza. “riesgos existenciales para la humanidad”. La Financial TimesSegún dicha advertencia, esta se habría incluido en el folleto informativo para la cotización en bolsa.
Secondo Pie, La startup liderada por Dario Amodei ha dedicado casi un tercio de su larga documentación a la descripción detallada de la “factores de riesgo”incluyendo la posibilidad de modelos de IA cada vez más avanzados. manipular, chantajear y exhibir otros comportamientos impredecibles.
