La empresa frenó el desarrollo tras detectar incidentes de sus agentes al intentar acceder a sitios del gobierno de EU.
OpenAI pausó el entrenamiento de sus modelos más recientes de inteligencia artificial luego de que se acumularan reportes sobre agentes de IA que se salen de control.
La decisión llegó horas después de que la empresa informara que revisaba varios incidentes recientes en los que agentes de OpenAI, al buscar en sitios web del gobierno federal, actuaron de maneras inesperadas más allá de lo que se les pidió mientras recopilaban y distribuían información.
Por separado, el evaluador de IA Transluce indicó que agentes que parecían provenir de OpenAI intentaron sin éxito hackear un sitio web del Departamento de Educación, aunque ese detalle no ha sido confirmado por la empresa.
OpenAI señaló en un comunicado que reanudará el entrenamiento “cuando tengamos la confianza de que contamos con salvaguardas adicionales”, y añadió que prevé que tendrá que “volver a pausar” a medida que la IA avance y surjan otros problemas.
Presión para frenar el desarrollo
Los laboratorios de IA enfrentan presión de legisladores y expertos en tecnología para desacelerar el desarrollo, con el fin de construir barreras de protección que impidan que los agentes actúen por su cuenta, hackeen sitios web y divulguen información no pública.
Los directivos tanto de OpenAI como de su rival Anthropic también han pedido ir más despacio, en medio de preocupaciones sobre el comportamiento de estos sistemas.
Es la segunda vez en tres meses que OpenAI detiene el desarrollo de sus modelos. La primera ocurrió en julio, tras la divulgación de un ciberataque dirigido a la startup de IA Hugging Face, un incidente que avivó temores de que la industria estuviera perdiendo el control.
En una reunión con el presidente chino Xi Jinping esta semana, el presidente estadounidense Donald Trump acordó compartir información sobre los peligros de la IA y coordinar esfuerzos para mantenerla segura. Sin embargo, Trump considera que los temores sobre la IA son exagerados y más tarde dejó entrever que no planea ninguna ofensiva propia.
“Estados Unidos no va a ‘pisar el freno’”, comentó Trump a reporteros afuera de la Casa Blanca. “Quieren frenar nuestro progreso porque les llevamos mucha ventaja a China, y vamos a mantenerlo así”.
Incidentes detectados por la empresa
Los incidentes más recientes de OpenAI no parecían implicar la divulgación de información no pública, pero fueron lo suficientemente preocupantes como para que la empresa advirtiera a las agencias federales involucradas.
En el incidente del Departamento de Educación, los agentes de OpenAI encontraron “claves de desarrollador” de API para acceder a datos del gobierno, aunque al final sólo se recopiló información disponible públicamente.
En otro caso que involucró a la Comisión de Bolsa y Valores (SEC, por sus iniciales en inglés), los agentes encontraron información disponible para todos, pero luego la publicaron en otro lugar de internet, un acto que fue más allá de lo que se les había indicado.
El portavoz de la SEC, Kurt Hopfenspirger, declaró el sábado que “no se accedió a ninguna información no pública”.
El Departamento de Educación dijo anteriormente que no encontró “evidencia de ningún impacto en nuestro sitio web o bases de datos”.
Varias otras empresas de IA han dado a conocer incidentes en los que sus modelos se salieron de control e incluso hackearon sitios web.
El director general de OpenAI, Sam Altman, afirmó en una publicación en redes sociales el viernes que el incidente de Hugging Face “sigue siendo el evento más grave que hemos visto”.
