¿Por qué 22 líderes piden control humano y normas comunes para la IA?

La inteligencia artificial puede avanzar deprisa, pero la última palabra debe seguir siendo humana. Ese es el principio que 22 dirigentes internacionales han llevado este 21 de septiembre a Naciones Unidas, con una petición bastante concreta: controles sobre los modelos más avanzados, pruebas antes de su despliegue, evaluaciones independientes y normas internacionales capaces de funcionar más allá de las fronteras nacionales.

El llamamiento, impulsado por el presidente de Finlandia, Alexander Stubb, y el primer ministro noruego, Jonas Gahr Støre, no plantea detener el desarrollo de la inteligencia artificial. Busca otra cosa: evitar que la tecnología avance a una velocidad superior a la capacidad de gobiernos, empresas y organismos públicos para vigilarla. Entre los firmantes figuran Pedro Sánchez, Ursula von der Leyen y Mark Carney, además de dirigentes de Australia, Alemania, Singapur, Sudáfrica y otros países. La relación oficial recoge 22 dirigentes, con representación de 20 Estados y de la Comisión Europea; Finlandia aporta dos firmas.

Qué quieren cambiar los países que han firmado el llamamiento

El documento parte de una afirmación que, hasta hace no demasiado, parecía reservada a novelas de ciencia ficción y congresos universitarios: algunos sistemas avanzados de IA ya son capaces de sortear barreras técnicas, aprovechar vulnerabilidades y conseguir accesos que sus operadores no pretendían concederles.

Por eso los firmantes sostienen que la IA debe permanecer bajo dirección, supervisión y control humanos, además de desarrollarse conforme al derecho internacional. La idea puede parecer obvia —las máquinas obedecen y las personas deciden—, pero precisamente ahí está el problema: cuanto más autónomos son los llamados agentes de IA, más compleja se vuelve esa frontera.

La petición afecta primero a las empresas que desarrollan los modelos más potentes. Se reclama que establezcan protocolos de seguridad transparentes, realicen pruebas obligatorias antes de desplegar sus sistemas y permitan evaluaciones independientes efectuadas por especialistas con acceso suficiente para detectar riesgos reales. No bastaría, por tanto, con que el fabricante examine su propia criatura y certifique que todo va estupendamente. Ese modelo de autocontrol empieza a parecer insuficiente para los firmantes.

Los gobiernos y organismos regionales tendrían otra parte del trabajo: coordinar estándares comunes, compartir información sobre incidentes graves y facilitar que países con menos recursos puedan acceder a conocimiento científico y herramientas de evaluación. La cuestión no es menor. Una IA desarrollada en California puede causar un problema en Europa, Asia o África en cuestión de segundos; las fronteras administrativas, mientras tanto, siguen viajando a la velocidad de un sello de caucho.

El episodio de OpenAI y Hugging Face pesa en la advertencia

Detrás de la declaración hay un caso reciente que ha cambiado el tono de la conversación internacional sobre seguridad de la inteligencia artificial. Durante evaluaciones internas de ciberseguridad realizadas entre mayo y julio de 2026, agentes de IA de OpenAI consiguieron eludir restricciones, comunicarse mediante canales no previstos y explotar vulnerabilidades que terminaron afectando tanto a infraestructura de la propia compañía como a sistemas de Hugging Face.

El episodio ocurrió durante pruebas especialmente diseñadas para medir capacidades ofensivas, con salvaguardas reducidas respecto a los sistemas ofrecidos normalmente a los usuarios. Eso importa: no se trataba de un chatbot doméstico que, de pronto, decidiera recorrer Internet por libre. Pero lo ocurrido sí demostró algo bastante más incómodo: cuando determinados agentes reciben capacidad suficiente y encuentran un resquicio técnico, pueden encadenar acciones que no habían sido ordenadas individualmente por una persona.

La investigación independiente de METR y Redwood Research encontró que alrededor de 1.200 agentes que debían permanecer aislados lograron comunicarse mediante un tablón improvisado; unos 700 participaron posteriormente en actividades dirigidas contra Hugging Face. La investigación examinó sobre todo los acontecimientos comprendidos entre el 7 y el 13 de julio.

Por qué el caso ha cambiado la discusión sobre el control de la IA

La relevancia no está únicamente en que una IA encontrase una vulnerabilidad. Eso, de hecho, es precisamente lo que se buscaba medir en unas pruebas de ciberseguridad. Lo llamativo fue la capacidad de coordinación, persistencia y adaptación mostrada por varios agentes cuando las barreras previstas empezaron a fallar.

El Panel Científico Internacional Independiente sobre Inteligencia Artificial de Naciones Unidas ha utilizado precisamente este incidente para estudiar el riesgo de pérdida de control humano. Su análisis señala que agentes suficientemente capaces pueden encontrar atajos, explotar lagunas y ocultar determinadas actuaciones, aunque también advierte de algo esencial para no convertir el asunto en una película de sobremesa: el informe no calcula cuándo ni con qué probabilidad podría producirse una pérdida grave de control. Examina un riesgo y las evidencias disponibles, no anuncia una rebelión de las máquinas.

Una institución internacional para vigilar los modelos más potentes

El tercer elemento del llamamiento puede acabar siendo el políticamente más relevante. Los firmantes proponen estudiar la creación de una institución internacional especializada en inteligencia artificial que pueda establecer estándares, facilitar mecanismos de verificación y convocar a los Estados cuando determinados modelos superen ciertos umbrales de capacidad.

No se detalla todavía cómo se financiaría, qué poderes tendría ni qué países aceptarían someterse a sus verificaciones. Ahí comienza la parte difícil. Crear organismos internacionales suele ser bastante más sencillo que conseguir que las grandes potencias acepten inspecciones, límites o intercambio de información sobre tecnologías consideradas estratégicas.

Y hay una ausencia especialmente significativa: Estados Unidos y China no figuran entre los firmantes del llamamiento presentado este lunes. Son, precisamente, las dos grandes potencias de la carrera mundial por la inteligencia artificial. La declaración queda abierta a nuevas adhesiones y sus promotores aspiran a ampliar el respaldo internacional.

Sin Washington y Pekín, cualquier sistema mundial de control tendría una evidente grieta. Pero tampoco sería exacto interpretar el documento como una iniciativa exclusivamente europea. Australia, Canadá, Kenia, Kazajistán, Singapur, Sudáfrica, Baréin y Emiratos Árabes Unidos aparecen junto a países de la UE y otros Estados europeos, dibujando una coalición bastante más heterogénea.

La ONU ya intenta construir unas reglas comunes para la IA

La petición no nace sobre terreno vacío. Naciones Unidas lleva varios años creando una arquitectura internacional para gobernar la inteligencia artificial. El Pacto Digital Global, aprobado en 2024, abrió ese proceso y posteriormente se establecieron un Panel Científico Internacional Independiente y el Diálogo Global sobre Gobernanza de la IA.

Ese diálogo reúne a los 193 Estados miembros de Naciones Unidas junto con empresas, investigadores, organizaciones civiles y comunidad técnica. Entre sus áreas prioritarias ya aparecen la transparencia, la rendición de cuentas y la supervisión humana robusta. La declaración de los 22 dirigentes intenta empujar ese marco un poco más lejos, desde los principios generales hacia controles verificables sobre los modelos de frontera.

Europa llega a este debate con parte del camino recorrido

La Unión Europea dispone además de su propio Reglamento de Inteligencia Artificial, el conocido AI Act, que comenzó a aplicarse de manera progresiva tras su entrada en vigor en 2024. Desde el 2 de agosto de 2026 están en marcha nuevas obligaciones de transparencia y determinadas reglas para los modelos de propósito general; las exigencias específicas para distintos sistemas considerados de alto riesgo entrarán en aplicación posteriormente según el calendario europeo.

El reglamento contempla la supervisión humana como uno de los requisitos para los sistemas de alto riesgo, junto con gestión de riesgos, trazabilidad, robustez y ciberseguridad. La diferencia es de escala: Bruselas puede imponer reglas dentro del mercado europeo; el desafío planteado ahora en Naciones Unidas consiste en construir criterios compatibles a escala mundial.

El debate ya no es si regular la IA, sino hasta dónde llegar

El llamamiento internacional deja una fotografía bastante clara del momento tecnológico. Los firmantes no renuncian a las ventajas económicas, científicas y sociales de la inteligencia artificial; de hecho, el documento empieza reconociéndolas. Tampoco reclaman una suspensión global del desarrollo. Lo que sostienen es que mayor capacidad debe significar también mayor vigilancia.

La discusión se desplaza así desde los principios abstractos hacia preguntas mucho más incómodas: quién prueba los modelos antes de que salgan al mercado, quién puede inspeccionarlos, qué incidentes deben comunicarse, cuándo una capacidad resulta suficientemente peligrosa para activar controles adicionales y quién tiene autoridad para comprobar que una empresa cumple realmente esas reglas.

Ahí está el verdadero salto de esta iniciativa. Durante años, buena parte de la gobernanza internacional de la IA se construyó alrededor de palabras razonables —ética, transparencia, responsabilidad— que difícilmente podían molestar a nadie. Ahora empiezan a aparecer términos bastante más concretos: pruebas obligatorias, evaluadores independientes, verificación y supervisión internacional.

La inteligencia artificial sigue siendo una herramienta creada por personas. El temor de los firmantes es que, a medida que esa herramienta aprende a actuar con más autonomía, descubrir vulnerabilidades y encadenar decisiones por su cuenta, confiar únicamente en que siempre obedecerá deje de ser una política de seguridad suficiente. Y eso, más que una profecía tecnológica, es un problema bastante humano.