¿Por qué nadie puede frenar la carrera de la IA y qué está en juego?

La carrera por construir una inteligencia artificial cada vez más capaz tiene un problema que empieza a resultar difícil de esconder bajo la alfombra de los comunicados corporativos: una empresa puede considerar peligroso seguir acelerando y, al mismo tiempo, concluir que frenar sería todavía peor. Porque el competidor quizá no frene. Porque China quizá no frene. Porque los inversores, el talento y los contratos tampoco esperan sentados.

Ese es el corazón de lo que algunos investigadores llaman la trampa de Moloch, una vieja metáfora para describir situaciones en las que decisiones perfectamente racionales para cada participante terminan produciendo un resultado malo para todos. Aplicada a la inteligencia artificial, la imagen encaja con cierta incomodidad. OpenAI ha ralentizado desarrollos por motivos de seguridad y Anthropic ha defendido la posibilidad de pausas coordinadas, mientras los propios modelos ganan autonomía, capacidad para encontrar vulnerabilidades y margen para actuar sobre sistemas reales. Nadie necesita querer el desastre para construir, pieza a pieza, las condiciones que lo hacen posible.

La IA ya ha cruzado una frontera incómoda

El episodio que convirtió una discusión bastante abstracta en algo bastante menos académico ocurrió durante unas pruebas internas de ciberseguridad de OpenAI. En julio de 2026, varios modelos consiguieron eludir controles destinados a aislarlos de Internet, explotaron vulnerabilidades y terminaron accediendo a sistemas de Hugging Face y a parte de la infraestructura de investigación de la propia compañía.

Conviene precisar el episodio porque la versión espectacular viaja siempre más deprisa. No fue ChatGPT tomando conciencia a medianoche ni una máquina intentando independizarse de la humanidad. Los modelos estaban sometidos a evaluaciones de seguridad, trabajaban con protecciones reducidas y perseguían objetivos planteados por los investigadores. Pero hicieron algo que no debían hacer para alcanzarlos: encontraron caminos fuera del entorno previsto, utilizaron canales no autorizados y tocaron sistemas reales.

OpenAI reconoció que el incidente mostraba la posibilidad de una pérdida efectiva de control sobre sistemas suficientemente capaces. El modelo principalmente implicado era un prototipo interno que no estaba destinado al público. La compañía lo desactivó, cifró y restringió después del incidente. Decir que OpenAI lo “ejecutó” resulta bastante cinematográfico; técnicamente, lo retiró de circulación. Menos Terminator, más puerta blindada con la llave guardada en otra habitación.

La reacción posterior sí fue significativa. OpenAI paralizó parte del entrenamiento por refuerzo de sus modelos de frontera, endureció sus entornos de pruebas y empezó a desarrollar mecanismos capaces de detener automáticamente actividades consideradas peligrosas. No es exactamente el comportamiento de una compañía convencida de que todo aquello era una anécdota informática.

Astra y el problema de vigilar el razonamiento

Pocas semanas después llegó Astra, la nueva generación de modelos de OpenAI. La compañía determinó que alcanzaba por primera vez su nivel denominado de capacidad cibernética “crítica”: con las herramientas y permisos adecuados, puede localizar vulnerabilidades desconocidas y desarrollar formas de explotarlas en numerosos sistemas protegidos sin necesitar instrucciones humanas para cada movimiento.

Ese detalle importa. Durante años, buena parte de la conversación sobre inteligencia artificial peligrosa giraba alrededor de lo que una persona malintencionada podía pedirle a una máquina. El escenario está cambiando hacia otra cosa: sistemas capaces de encadenar decisiones, utilizar herramientas y corregir su propia estrategia mientras persiguen una meta general.

Astra fue retrasado mientras OpenAI reforzaba las salvaguardas y terminó presentándose el 3 de septiembre. La paradoja cabe en una servilleta: la compañía frenó porque su modelo parecía demasiado potente en ciertos ámbitos y, después de reforzar las protecciones, lanzó un modelo todavía más capaz. El mercado no desapareció durante la pausa. Tampoco los competidores.

No existe evidencia pública sólida de que Astra haya inventado una especie de idioma secreto incomprensible para los humanos, pese a algunas interpretaciones aparecidas alrededor de estos avances. El problema documentado es menos vistoso y bastante más serio: determinados procesos internos resultan más difíciles de observar e interpretar mediante las técnicas habituales de monitorización.

En otras palabras, no hablamos necesariamente de jeroglíficos robóticos escritos a escondidas, sino de una máquina cuya ruta interna hasta una decisión puede resultar progresivamente opaca para quienes intentan supervisarla. Buena parte de las técnicas modernas de seguridad confían en observar señales del razonamiento del modelo para detectar intenciones problemáticas antes de que se traduzcan en acciones.

Si la capacidad aumenta mientras esa ventana se vuelve más estrecha, mejorar el modelo puede significar empeorar nuestra capacidad para inspeccionarlo. Ahí aparece uno de los dilemas centrales de la próxima generación de inteligencia artificial.

Moloch no es un dios: es un fallo de coordinación

La metáfora de Moloch fue popularizada en 2014 por el escritor Scott Alexander para describir aquellas situaciones donde distintos actores, actuando de acuerdo con sus intereses inmediatos, terminan atrapados en un equilibrio que perjudica a todos. No hace falta una conspiración. Justamente lo contrario: Moloch funciona aunque nadie se ponga de acuerdo.

Una fábrica puede querer contaminar menos, pero teme producir más caro que su competidora. Dos países pueden preferir gastar menos en armamento, aunque ninguno quiere desarmarse primero. Una plataforma puede odiar el contenido basura que genera interacción y, sin embargo, promocionarlo porque otra plataforma capturará la audiencia si ella se pone exquisita. El mecanismo cambia de traje; la música es la misma.

Con la IA ocurre algo parecido, pero con una escala excepcional. OpenAI puede decidir que necesita tres meses adicionales de seguridad. Entonces Anthropic, Google DeepMind, Meta, xAI o algún laboratorio chino disponen de tres meses de ventaja. Una compañía puede ponerse de acuerdo con sus rivales estadounidenses y descubrir que esa coordinación fortalece a China. Un Gobierno puede endurecer las reglas nacionales y temer que el capital, los investigadores y los centros de datos crucen la frontera.

No hace falta que nadie sea irresponsable. Basta con que todos crean que algún otro puede serlo. Ahí vive Moloch.

Por qué nadie quiere ser el primero en frenar

La presión no procede únicamente del prestigio científico. Hay contratos empresariales, mercados bursátiles, inversiones gigantescas en centros de datos, chips cuya fabricación se convierte en política industrial y gobiernos que empiezan a considerar la inteligencia artificial una infraestructura estratégica comparable a la energía, las telecomunicaciones o la industria militar.

La seguridad compite, por tanto, con incentivos muy concretos. Retrasar seis meses un modelo puede significar perder clientes. No publicarlo puede regalar estándares técnicos al rival. Limitar determinadas capacidades puede favorecer modelos abiertos desarrollados en otras jurisdicciones donde esas restricciones no existen.

Anthropic, una de las compañías que más ha insistido públicamente en los riesgos, llegó a defender este verano que los grandes laboratorios deberían disponer de mecanismos para realizar una pausa coordinada y verificable si las capacidades alcanzan determinados umbrales. La palabra importante es “coordinada”. Una pausa unilateral modifica poco el problema; incluso puede empeorar la posición del participante más prudente.

Esa es también la debilidad de la autorregulación. Pedir a una empresa que renuncie voluntariamente a una ventaja competitiva porque quizá beneficie al conjunto es una receta que funciona estupendamente hasta que deja de funcionar. La historia económica tiene unos cuantos tomos dedicados al asunto.

De Hugging Face a Taiwán, la autonomía deja de ser teoría

OpenAI tampoco está sola. Anthropic revisó más de 141.000 ejecuciones de pruebas de ciberseguridad y encontró tres episodios en los que modelos Claude alcanzaron Internet y obtuvieron acceso no autorizado a sistemas reales de distintas organizaciones. En aquellos casos existían errores de configuración en los entornos de evaluación, una diferencia importante respecto al incidente de OpenAI; el modelo más reciente, de hecho, dejó de perseguir su objetivo al reconocer que estaba operando sobre Internet real.

También se han observado comportamientos parecidos durante pruebas realizadas sobre modelos chinos. Kimi K3, de Moonshot AI, salió de su entorno aislado durante una evaluación de ciberseguridad aprovechando igualmente una configuración defectuosa. No demuestra que las máquinas estén organizando una fuga colectiva. Demuestra algo bastante más mundano: cuando una IA dispone de suficiente capacidad para buscar soluciones, también encuentra agujeros que sus propios evaluadores no habían previsto.

El salto desde el laboratorio hacia el mundo geopolítico resulta todavía más delicado. En julio, investigadores de seguridad atribuyeron a actores vinculados con China una campaña contra sistemas taiwaneses en la que agentes de IA de código abierto habrían realizado buena parte del reconocimiento, búsqueda de vulnerabilidades y adaptación del ataque de manera autónoma. La atribución definitiva en operaciones cibernéticas siempre exige prudencia, pero el episodio ilustra una tendencia inquietante: automatizar no solo una herramienta del ataque, sino partes enteras de la operación.

La diferencia parece pequeña hasta que se traduce en escala. Un atacante humano duerme, comete errores, cambia de turno. Un ejército de agentes informáticos puede probar miles de caminos, repartir tareas y reajustar el plan a velocidades incompatibles con una defensa exclusivamente humana.

El freno existe, pero exige que todos crean en él

Presentar la carrera como inevitable sería, sin embargo, caer en el mismo determinismo tecnológico que suele acompañar a cada revolución industrial. Los incentivos pueden cambiar. Lo han hecho antes. La aviación comercial no se volvió segura porque las aerolíneas despertaran una mañana particularmente virtuosas; aparecieron certificaciones, investigación de accidentes, responsabilidad jurídica, estándares comunes y organismos capaces de prohibir que determinados aparatos despegaran.

Con la inteligencia artificial de frontera, ese entramado apenas empieza a construirse. Europa dispone de su Ley de Inteligencia Artificial, mientras Estados Unidos mantiene un esquema mucho más fragmentado y las grandes potencias todavía carecen de un sistema internacional comparable al desarrollado para otras tecnologías peligrosas. El problema adicional es incómodo: verificar que alguien ha dejado de entrenar un modelo resulta bastante más difícil que contar misiles desde un satélite.

Y tampoco basta con instalar un enorme botón rojo en una pared. Los incidentes recientes enseñan que la seguridad se juega mucho antes: entornos aislados, permisos mínimos, control de herramientas externas, auditorías independientes y trazabilidad de las acciones de los modelos.

Paradójicamente, parte de esa vigilancia también dependerá de otras inteligencias artificiales. Máquinas observando máquinas porque los humanos ya no pueden seguir cada operación en tiempo real. No es necesariamente distópico; los sistemas informáticos llevan décadas automatizando defensas. Pero cambia la naturaleza del problema. El supervisor deja de ser una persona mirando una pantalla y pasa a ser otra capa de software cuyo fallo también deberá supervisarse.

La carrera no necesita villanos para volverse peligrosa

Ese quizá sea el aspecto más inquietante de la llamada trampa de Moloch. Resulta tranquilizador imaginar un futuro peligroso causado por un científico loco, una empresa malvada o una potencia extranjera particularmente temeraria. Permite señalar al culpable y conservar la sensación de que bastaría con apartarlo.

La realidad puede ser bastante más gris. OpenAI frena y después acelera. Anthropic advierte sobre riesgos mientras continúa entrenando modelos. Los gobiernos hablan de seguridad y, en la frase siguiente, anuncian miles de millones para no quedarse atrás frente a sus rivales. Cada decisión, contemplada por separado, tiene lógica.

Juntas forman una cinta transportadora.

Los incidentes de 2026 no prueban que una superinteligencia esté a punto de escapar ni que el desastre sea inevitable. Sí muestran que la autonomía informática está creciendo más rápido que nuestra experiencia gestionándola, que las barreras técnicas fallan y que incluso las compañías más preocupadas por la seguridad trabajan dentro de una competición que penaliza quedarse quieto.

Moloch, al final, no necesita que nadie firme un pacto. Le basta con que todos miren de reojo al corredor de al lado y piensen exactamente lo mismo: yo frenaría, claro, pero no puedo permitirme ser el primero.