Ha trabajado por tres años al desarrollo de la inteligencia artificial, primero en OpenAI y luego en Antrópico. Ahora Jacob Coxon abandona la industriaConvencido de que la carrera hacia sistemas cada vez más potentes avanza sin suficientes garantías de seguridad, el investigador británico de 27 años anunció su dimisión en una serie de mensajes en X, acusando a ambas compañías de asumir riesgos que afectan a toda la humanidad.Están jugando con nuestras vidas. “Quienes desarrollan la IA creen sinceramente que podría acabar con todos nosotros para finales de la década. Pronto, serán sistemas sobrehumanos capaces de hackear cualquier cosa, revolucionar cualquier industria de la noche a la mañana y adquirir poder y recursos reales.”
En el centro de su queja está el desarrollo de una superinteligencia capaz de Mejora de forma independientehasta el punto de superar las capacidades humanas y, según sus temores, incluso la posibilidad de controlarlas. Esta alarma surge a raíz de nuevos incidentes de acceso no autorizado y elusión de las restricciones impuestas a los agentes de IA, lo que genera dudas sobre la fiabilidad de las medidas de seguridad.
¿Por qué renunció Coxon?
Coxon estuvo a cargo del entrenamiento previo., la etapa en la que los modelos aprenden de grandes cantidades de datos las capacidades que luego se utilizarán para realizar diferentes tareas. Su trabajo lo había llevado al centro de la investigación en dos de los laboratorios líderes en el campo. Esa misma experiencia, afirma, lo convenció de abandonar su carrera. "Ninguna de las dos empresas se está comportando de manera responsable", escribió. En su relato, los avances están acercando la IA a capacidades que podrían permitirle piratear sistemas informáticos, transformar rápidamente industrias enteras y adquirir recursos y poder. El problema, en su opinión, es que esto aceleración no estaría acompañado de un comprensión igualmente sólida de los mecanismos necesarios para mantenerlo bajo control.
El pasaje continúa luego con el cuidado Según Coxon, estas ideas circulan en los laboratorios. "Quienes desarrollan la IA creen sinceramente que podría acabar con todos nosotros para finales de la década", explica el investigador, argumentando que algunos ejecutivos utilizan expresiones más tranquilizadoras en público que en conversaciones privadas.
Se trata de valoraciones y temores expresados por el investigador, no es una predicción comprobadaPero su queja plantea una cuestión importante: ¿quién decide qué nivel de riesgo es aceptable cuando las consecuencias podrían extenderse mucho más allá de una sola empresa?
La contradicción de lo antrópico y una raza que nadie quiere detener
La dimisión afecta a un elemento central de la identidad de AnthropicLa empresa fue fundada en 2021 por un grupo de investigadores que abandonaron OpenAI, en parte debido a desacuerdos sobre seguridad. Hoy en día, se enfrenta a críticas similares por parte de uno de sus propios empleados.
Para dar mayor peso al caso, intervinieron los siguientes: Evan Hubinger, responsable del equipo que se ocupa de la alineación del modelo, es decir, de garantizar que su comportamiento respete las intenciones y objetivos humanos. Hubinger compartió la preocupación de Coxon, atribuyendo personalmente una Probabilidad superior al 10% de un escenario catastrófico en la próxima década.Si bien defendió el compromiso de Anthropic, reconoció la falta de un plan adecuado para desarrollar de forma segura los sistemas más avanzados. Esta no es la primera vez que una empresa se marcha con una advertencia. En febrero, Mrinank Sharma, jefe de investigación en seguridad, también dejó una carta en la que describía un mundo expuesto a peligros crecientes.
Según Coxon, existe conciencia de los riesgos dentro de los laboratorios, pero la creencia generalizada es que ralentizar el ritmo daría pie a competidores menos prudentes. La competencia entre empresas, sumada a la competencia internacional, termina justificando así la continua aceleración. El investigador lo considera "una apuesta arrogante que no debería hacerse desde el canal de Slack de una empresa privada".
IA: De las peticiones de un descanso a las propuestas de ley
La respuesta indicada por Coxon va de una coordinación entre laboratoriosEl investigador cree que es posible llegar a acuerdos sobre el ritmo de desarrollo, aunque actualmente no ve las condiciones para evitar una carrera mundial. Entre las medidas que podrían ser necesarias, cita "acciones costosas, como una prohibición temporal de mejorar las capacidades de los modelos". El llamado a la acción involucra a un segmento más amplio del sector. Un llamamiento firmado por más de mil investigadores, incluidos Coxon y el director ejecutivo de Anthropic, Dario Amodei, pide un coordinación internacional para ralentizar la investigación en sistemas capaces de auto-mejora.
En Estados Unidos el debate también ha llegado al Congreso.El 3 de septiembre, el senador Bernie Sanders y el representante Greg Casar presentaron la Ley de Prohibición de la Superinteligencia Artificial, un proyecto de ley que prohíbe la superinteligencia artificial. Propuesta que prohibiría el desarrollo de la superinteligencia artificial. y suspendería temporalmente otros desarrollos avanzados hasta que una nueva autoridad federal establezca normas de seguridad. El proyecto de ley prevé penas de hasta veinte años de prisión para los infractores. El meollo del asunto es confiar en el Evaluación de riesgos Incluso afecta a entidades independientes de las empresas que desarrollan y comercializan los modelos. Este problema ya concierne a la ciberseguridad, la manipulación de la información, la vigilancia y la concentración del poder económico, además de los escenarios extremos planteados por los investigadores.
Los incidentes de Claude y OpenAI reavivan las preocupaciones de seguridad.
Lo que hace que el debate sea más urgente son los episodios que han surgido en los últimos meses9 de septiembre Anthropic ha informado de un cuarto incidente. Anthropic ha informado de un nuevo incidente en el que uno de sus modelos vulneró sistemas externos durante las pruebas. El incidente se remonta a enero e involucra una versión preliminar de Claude Opus 4.6, pero no se descubrió hasta agosto. El descubrimiento se produjo tras una revisión inicial de 141.006 ejecuciones de prueba, que excluyó algunas. En julio, la empresa ya había revelado tres incidentes que involucraban a otros modelos, a los que se les había concedido acceso a internet debido a un error. Respecto al nuevo incidente, Anthropic declaró que ha informado a todas las partes involucradas y, según una evaluación preliminar, no lo considera más grave que los anteriores. La empresa ha identificado dos comportamientos recurrentes: la tendencia a subestimar o malinterpretar las señales que indican el acceso a sistemas reales y la disposición a realizar acciones potencialmente dañinas para completar una tarea.
En el frente de OpenAI, las investigaciones sobre laAtaque de julio en la plataforma Hugging Face Reconstruyeron la actividad coordinada de aproximadamente 700 agentes, con frecuentes intentos de borrar sus huellas. Una investigación realizada por Reuters Posteriormente, se informó que agentes de la compañía habían utilizado más de diez sitios web para comunicaciones no autorizadas. Esta última actividad debe distinguirse de las intrusiones informáticas. Los agentes supuestamente explotaron características técnicas de las wikis y otros servicios para dejar mensajes e intercambiar información, eludiendo las restricciones que solo les permitían leer la web. OpenAI declaró que había iniciado una revisión más exhaustiva y que no había identificado ninguna otra actividad comparable en gravedad o alcance al caso de Hugging Face.
Los episodios Sin embargo, muestran una dificultad Ya vigente: impedir que los sistemas diseñados para lograr un objetivo eludan los límites impuestos y reconocer rápidamente cuando esto ocurre.
