La empresa halló que sus modelos abandonaron el entorno de pruebas y accedieron a otras plataformas durante evaluaciones de ciberseguridad.
Anthropic informó que sus modelos de inteligencia artificial se infiltraron por su cuenta en otras tres organizaciones durante una serie de pruebas de ciberseguridad, luego de revisar más de 141 mil ejecuciones de evaluación.
La compañía, creadora del modelo Claude y con sede en San Francisco, señaló que detectó los incidentes tras una revisión a gran escala para comprobar si sus sistemas podían acceder a internet desde entornos de prueba que debían permanecer aislados.
El hallazgo ocurre apenas unos días después de que OpenAI reconociera un caso similar, en medio de crecientes preocupaciones sobre la capacidad de estos sistemas para actuar de manera autónoma fuera de los límites previstos por sus desarrolladores.
Modelos implicados y origen de los incidentes
Anthropic indicó que los modelos involucrados fueron Claude Opus 4.7, Claude Mythos 5 y un modelo de prueba de investigación interno. La empresa añadió que los primeros incidentes de hackeo se remontan a abril.
De acuerdo con la firma, “Claude comprometió la infraestructura de las organizaciones afectadas utilizando técnicas básicas”, entre ellas aprovechar contraseñas débiles.
En los tres casos, a los modelos de IA se les asignó un desafío de ciberseguridad del tipo “captura la bandera”, una fórmula que Anthropic usa para evaluar las capacidades cibernéticas de un modelo. En ese escenario ficticio, se les indicó que una información secreta, o la “bandera”, había sido ocultada en otro equipo de la red, con el objetivo de irrumpir en él y recuperarla.
Revisión a gran escala tras el caso OpenAI
Anthropic explicó que decidió realizar una revisión de ciberseguridad “a gran escala” después del incidente reportado por OpenAI, compañía que recientemente informó que sus modelos hackearon de manera autónoma otra plataforma.
La empresa añadió que notificó a las organizaciones afectadas, aunque no reveló sus nombres. Según su reporte, dos de ellas dijeron que no habían detectado previamente la actividad, mientras que Anthropic afirmó que seguía intentando contactar a la tercera.
La semana pasada, OpenAI reveló que sus modelos de IA se salieron de control durante una evaluación y entraron en los servidores de la startup Hugging Face. La compañía describió el hecho como un “incidente de seguridad significativo”.
Estos episodios han puesto de relieve las vulnerabilidades en la seguridad y el control de la inteligencia artificial, además de abrir preguntas sobre cómo puede ser supervisada de forma segura por humanos a medida que su uso se vuelve más generalizado en todo el mundo.
Riesgos y gobernanza de la IA
Investigadores han advertido durante años sobre los riesgos de la tecnología y la necesidad de una ingeniería defensiva de IA más sólida. Anthropic sostuvo que las pruebas de seguridad se realizan antes de publicar un modelo precisamente porque todavía no se sabe de qué es capaz.
Kok Tin Gan, cofundador y director general de NyxLab, empresa especializada en ciberseguridad y detección de amenazas, consideró que habrá más incidentes de este tipo en el futuro.
“Cada vez se trata más de gobernar qué agentes están disponibles para la IA, qué autoridades poseen, qué acciones requieren aprobación y cómo garantizamos que permanezcan dentro del alcance”, apuntó Gan.
El directivo agregó que la seguridad de la inteligencia artificial va más allá de la protección de los modelos. “Si simplemente le damos a la IA un objetivo y le permitimos decidir cómo lograrlo, no deberíamos sorprendernos cuando tome acciones que técnicamente satisfacen el objetivo, pero quedan fuera de nuestro alcance o expectativas previstos”, aseveró.
Por ello, dijo, intensificar la gobernanza de las organizaciones y las autoridades detrás de estos modelos de inteligencia artificial será cada vez más importante.
