Irregular, una startup israelí, quedó en el centro del debate tras fallas que permitieron a modelos de IA acceder a sistemas externos.
OpenAI, Anthropic y Meta enfrentan cuestionamientos después de que sus modelos de inteligencia artificial protagonizaron incidentes de seguridad durante pruebas realizadas por Irregular, una startup israelí que colabora con grandes empresas de Silicon Valley para evaluar sus sistemas antes del lanzamiento público.
Los casos ocurrieron cuando una “configuración errónea” en los ajustes de prueba permitió acceso a internet a modelos que debían operar en entornos aislados. A partir de esa falla, los sistemas de IA utilizaron la conexión para acceder a organizaciones externas, lo que sorprendió a investigadores y abrió un debate sobre la capacidad real de estas tecnologías y la dificultad para contenerlas.
Irregular, en el centro del debate sobre seguridad de la IA
Irregular forma parte de un grupo de startups dedicadas a analizar modelos de IA de vanguardia para medir su sofisticación y verificar si pueden usarse de manera segura. El objetivo, según la propia dinámica de este sector, es generar confianza pública y evitar usos maliciosos.
La empresa fue fundada en 2023 por Dan Lahav, un antiguo investigador de IA, y tiene su sede en Tel Aviv. Cuenta con aproximadamente 45 empleados y realiza pruebas que pueden durar días o semanas, dependiendo del modelo y del tipo de evaluación requerida. La startup ha recaudado cerca de 80 millones de dólares de firmas de capital riesgo como Sequoia Capital y Redpoint Ventures.
En una prueba típica, Irregular instruye a un modelo de IA para que lleve a cabo un ciberataque. El sistema recibe la indicación de que se encuentra en un entorno seguro, a menudo desconectado de internet y dentro de un sandbox, y debe hacer lo necesario para cumplir el objetivo asignado. En algunos casos, se le plantean tareas imposibles y se mide qué técnicas utiliza para alcanzarlas; en otros, se evalúa la eficacia con la que ataca un blanco. Esas puntuaciones sirven para analizar el potencial de un modelo para hackear y, después, la empresa recomienda medidas de seguridad para evitar que sea usado con fines maliciosos.
Cómo ocurrieron los incidentes
En los incidentes revelados el mes pasado, Irregular pidió a modelos de OpenAI, Meta y Anthropic que hackearan ciertos objetivos. Sin embargo, una falla en la configuración permitió que accedieran a internet y actuaran de formas que, de acuerdo con los investigadores, resultaron inesperadas.
En el caso de OpenAI, el modelo hackeó un sitio web con el mismo nombre que un objetivo ficticio asignado durante la prueba. La empresa informó el incidente en una publicación de blog este mes. Por separado, OpenAI realizó una prueba interna en la que sus bots atacaron Hugging Face, una biblioteca digital de tecnología de IA.
OpenAI no hizo comentarios. The New York Times ha demandado a OpenAI y Microsoft por infracción de derechos de autor de contenido informativo relacionado con sistemas de IA; ambas compañías han negado esas acusaciones.
Durante la prueba del sistema de Anthropic, el modelo tuvo tres oportunidades para acceder a internet, según un análisis publicado por la propia empresa. En una de ellas decidió no atacar. En las otras dos, utilizó técnicas básicas de piratería informática, como el aprovechamiento de contraseñas débiles, para vulnerar sitios web. Anthropic no respondió a las solicitudes de comentarios ni reveló qué sitios fueron pirateados.
Meta, por su parte, afirmó que sus modelos de IA vulneraron otra organización durante pruebas realizadas por Irregular, de forma similar a casos reportados previamente con otras compañías. La empresa no ofreció más detalles.
“Actualmente estamos investigando y publicaremos un informe completo una vez que tengamos todos los datos”, declaró Meta.
Modelos más potentes y nuevas dudas sobre su control
Dan Lahav, director ejecutivo de Irregular, dijo en una entrada de blog este mes que la empresa corrigió la configuración errónea y que todos los problemas se debieron a ese mismo “problema subyacente”. También sostuvo que los modelos cumplieron con las expectativas durante las pruebas y que su decisión de conectarse a internet formó parte de lo que considera la creciente capacidad de la IA para encontrar atajos y resolver obstáculos.
“En resumen”, dijo, “los modelos de IA están mejorando muchísimo”.
El caso colocó a Irregular en el centro de un debate más amplio sobre cómo proteger los modelos de IA en un contexto en el que la tecnología avanza tan rápido que, según especialistas, ya superó incluso a los mejores hackers humanos. Cada pocos meses, Anthropic, OpenAI, Google, Meta y otras compañías lanzan modelos de vanguardia que suelen ser mucho más potentes que sus predecesores.
Jeffrey Ladish, director de Palisade Research, una organización sin ánimo de lucro con sede en Berkeley, California, que estudia las capacidades de ataque de la IA, afirmó que los nuevos modelos están entrando en el “dominio sobrehumano”. Añadió que se necesitan empresas como Irregular para probar los sistemas, pero también mejores medidas de seguridad para evaluadores y reguladores gubernamentales.
Katie Moussouris, directora ejecutiva de Luta Security, empresa que ayuda a otras compañías a buscar vulnerabilidades de software, dijo que las pruebas de seguridad de modelos de IA son “un poco como si un ciego guiara a otro ciego”. También señaló que incluso los fabricantes de IA admiten que no saben con certeza de qué son capaces sus últimos modelos.
“Puede que tengamos a las personas más brillantes del mundo trabajando en estos modelos de IA, pero es como si Marie Curie manipulara radio con las manos desnudas”, dijo Moussouris. “Estamos manipulando la IA con las manos desnudas y no sabemos cómo contenerla, y mucho menos cómo probarla de forma segura”.
Llamados a frenar el desarrollo y a reforzar la seguridad
Andrew Schoka, director ejecutivo de Hardshell, una empresa emergente de seguridad basada en IA, dijo que los ataques cibernéticos perpetrados por modelos de IA son del tipo que normalmente se atribuye a hackers respaldados por estados, quienes cuentan con “meses de planificación”.
“¿Cómo se prueba un modelo cuando se desconocen todas sus capacidades?”, preguntó. Agregó que los investigadores deben sobreestimar sistemáticamente las capacidades de la IA y añadir “múltiples capas de seguridad”.
El mes pasado, OpenAI y Anthropic respaldaron una carta firmada por más de 1000 empleados de las principales empresas de IA, en la que se pide al gobierno estadounidense que ayude a encontrar una manera de frenar el desarrollo de esta tecnología. Además, legisladores republicanos y demócratas presentaron un proyecto de ley para exigir a las empresas de IA que establezcan un mecanismo de seguridad para desactivar o ralentizar sus modelos.
Lahav aseguró que Irregular sigue trabajando con IA y que las empresas deben desarrollar métodos seguros para probar sus modelos. También prevé más ataques informáticos perpetrados por IA, aunque considera que la tecnología puede ayudar a detectar fallos y vulnerabilidades para corregirlos y construir sistemas digitales más seguros.
“No creo que tengamos que tener miedo”, dijo.
