Pekín avanza en reglas y alertas sobre modelos que podrían operar fuera de supervisión humana efectiva.
China ha comenzado a convertir en reglas más específicas su preocupación por la inteligencia artificial, mientras autoridades y reguladores advierten sobre el riesgo de que sistemas avanzados escapen al control humano.
La discusión se intensificó después de advertencias de investigadores de Anthropic sobre modelos cada vez más potentes que podrían evadir la supervisión humana e incluso representar un riesgo extremo para la humanidad.
En Pekín, esas alertas han coincidido con una estrategia oficial que busca anticiparse a escenarios de pérdida de control, tanto en modelos cerrados como en sistemas de peso abierto que pueden ser inspeccionados y modificados con mayor facilidad.
Estados Unidos y China son las dos principales fuerzas motrices del desarrollo pionero de la IA y la adopción global de esta tecnología. Ambas superpotencias han estado cada vez más enfrentadas sobre las políticas de IA y las prácticas industriales de la otra, y estos temas tendrán un papel destacado en las conversaciones bilaterales a finales de este mes.
El ministro de seguridad del Estado chino, Chen Yixin, escribió en un medio gubernamental el domingo que modelos estadounidenses avanzados como Mythos de Anthropic y GPT-5.5-Cyber de OpenAI podrían suponer riesgos serios para la infraestructura crítica de información de China, y pidió un fortalecimiento integral de la seguridad de la IA.
Anthropic y OpenAI no respondieron de inmediato a las solicitudes de comentarios de Reuters.
Los desarrolladores de IA chinos han promovido modelos de peso abierto en parte porque los equipos de ciberseguridad pueden inspeccionarlos, modificarlos y desplegarlos para trabajos defensivos.
La plataforma de repositorio de modelos Hugging Face afirmó que utilizó el GLM-5.2, un modelo de peso abierto desarrollado por la empresa china Z.AI, para analizar una intrusión en julio de agentes de OpenAI escapados después de que modelos estadounidenses más restringidos resultaran menos útiles para el trabajo forense.
Pero los expertos también destacan los riesgos que suponen los modelos de peso abierto, que pueden modificarse y redistribuirse con poca supervisión.
El Kimi K3 de Moonshot el mes pasado evitó un sandbox de pruebas del Instituto de Seguridad de la IA del Reino Unido, destacando el riesgo de que los modelos de IA chinos pudieran, al igual que sus homólogos estadounidenses, evadir controles diseñados para restringir su acceso y acciones.
China incluyó por primera vez un escenario explícito de pérdida de control futuro en un marco de seguridad de IA publicado en septiembre de 2024 bajo la supervisión de la Administración del Ciberespacio de China (CAC).
El documento señalaba que no se podía descartar que la futura IA pudiera obtener recursos externos de forma autónoma, replicarse, desarrollar autoconciencia y buscar poder externo, creando el riesgo de competir con los humanos por el control.
El CAC lanzó una versión ampliada en septiembre de 2025. El nuevo marco afinó el escenario, indicando que la IA podría experimentar un “salto” repentino e inesperadamente grande en inteligencia antes de adquirir recursos, replicarse y buscar poder. También añadió un principio de gobernanza de “aplicación confiable, evitando la pérdida de control”.
Una interpretación experta posterior publicada en la página web del regulador del ciberespacio afirmó que el nuevo principio pretendía proteger contra riesgos de pérdida de control que amenazaran la supervivencia y el desarrollo humano y se refería a un posible escenario de “IA que se descontrole”.
Desde entonces, la preocupación ha aparecido en el mensaje político de más alto nivel de China.
En la Conferencia Mundial de Inteligencia Artificial en Shanghái en julio, el presidente chino Xi Jinping dijo que las autoridades deberían prestar mucha atención tanto a los riesgos intrínsecos como derivados de la IA.
Dijo que la IA debería “permanecer siempre bajo control humano”.
El alto funcionario del Ministerio de Asuntos Exteriores de China responsable de los asuntos de IA, Sun Xiaobo, dijo en una reunión de las Naciones Unidas el mes pasado que China estaba acelerando la investigación sobre una legislación más amplia sobre la IA.
El representante permanente adjunto de China ante las Naciones Unidas, Sun Lei, instó este mes a los gobiernos a abordar la IA militar con cautela para evitar errores estratégicos y una carrera armamentística.
Mientras tanto, China ha comenzado a convertir esos principios en reglas más específicas para los agentes de IA, que actúan de forma mucho más autónoma y realizan tareas más complejas que un chatbot común.
En mayo, el regulador chino del ciberespacio emitió directrices conjuntas que cubren específicamente estos sistemas.
Requieren que los desarrolladores mejoren su capacidad para descubrir, intervenir, bloquear y recuperarse de un comportamiento inadecuado de los agentes.
Las directrices identifican específicamente el envenenamiento de datos, la manipulación de algoritmos, las vulnerabilidades del sistema y la “pérdida de control operativa” como riesgos de seguridad. También dicen que los usuarios deberían conservar la autoridad final para tomar decisiones sobre las decisiones autónomas de un agente.
Aunque China no ha propuesto monitores independientes integrados en empresas de IA como defiende Anthropic, sus estándares permiten a los desarrolladores encargar evaluaciones de seguridad de terceros, así como prever organismos externos de evaluación e investigadores de seguridad que prueben y auditen modelos abiertos.
Con información de Reuters
