¿por qué California quiere poder apagar la inteligencia artificial?

California ha dado un paso que hasta hace poco parecía reservado a la ciencia ficción: estudiar la obligación de que las empresas que desarrollan los sistemas de inteligencia artificial más potentes dispongan de un mecanismo capaz de detenerlos en una emergencia. El gobernador Gavin Newsom firmó el 18 de septiembre una orden ejecutiva que pone sobre la mesa ese «interruptor de apagado», junto con controles externos bastante más intrusivos sobre los grandes laboratorios de IA.

Conviene precisar el alcance porque el matiz cambia bastante la noticia. California todavía no ha aprobado una ley que permita apagar una inteligencia artificial simplemente pulsando un botón. La orden encarga a la Administración estatal estudiar la viabilidad técnica y la eficacia de esa medida y presentar recomendaciones antes del 16 de noviembre de 2026. Entre las opciones figura exigir un «kill switch» para determinados modelos frontera y someter su funcionamiento a comprobaciones periódicas realizadas por una organización independiente.

La propuesta va bastante más allá del interruptor. Newsom también quiere estudiar que verificadores independientes tengan presencia dentro de los laboratorios, revisen regularmente los sistemas y comprueben los marcos de seguridad que presentan las compañías. Es el viejo principio de no dejar al alumno corregirse su propio examen, trasladado a empresas capaces de entrenar modelos que consumen centros de datos enteros.

Qué significa realmente «apagar» una inteligencia artificial

La imagen de un enorme botón rojo junto a los servidores funciona estupendamente para una película, pero la realidad sería menos cinematográfica. Un interruptor de apagado de IA sería, en la práctica, un conjunto de mecanismos técnicos concebidos para impedir que un modelo continúe operando cuando aparezca un peligro grave.

En un sistema alojado de forma centralizada podría significar suspender el servicio, bloquear el acceso al modelo, revocar credenciales, aislar determinados recursos informáticos o detener los procesos que permiten ejecutar la IA. No existe todavía un diseño concreto aprobado por California; precisamente eso forma parte de lo que la orden obliga a estudiar.

La cuestión se complica cuando el modelo deja de vivir exclusivamente en los ordenadores de su creador. Si sus pesos —los parámetros matemáticos que contienen buena parte de lo aprendido durante el entrenamiento— han sido distribuidos y existen copias funcionando en máquinas ajenas, apagar el original no hace desaparecer las copias. Internet, como suele ocurrir, tiene mala memoria para unas cosas y una memoria casi eterna para otras.

Por eso la orden habla expresamente de estudiar la viabilidad técnica y la posible eficacia del mecanismo. California deberá determinar qué sistemas podrían quedar sometidos a esa obligación, cómo funcionaría el apagado y de qué manera podría comprobarse periódicamente que sigue siendo eficaz.

Auditores independientes dentro de los laboratorios de IA

El segundo elemento resulta quizá menos vistoso, pero puede tener consecuencias más profundas. La orden plantea que los grandes desarrolladores de modelos frontera, es decir, sistemas situados cerca del máximo nivel tecnológico disponible, puedan quedar sometidos a una supervisión independiente mucho más cercana a su actividad cotidiana.

La propuesta contempla que organizaciones externas designadas realicen auditorías y evaluaciones periódicas desde los propios laboratorios. También verificarían los marcos de seguridad, los informes de transparencia y las evaluaciones de riesgos que las compañías tienen que presentar.

No bastaría, por tanto, con entregar un documento afirmando que existen barreras de seguridad. Un tercero tendría que determinar si esas protecciones funcionan realmente según unos estándares previamente establecidos.

Una supervisión que ya no dependería solo de las empresas

California ya había colocado parte de los raíles para llegar hasta aquí. El 9 de septiembre, Newsom firmó la SB 813, que establece un marco para certificar organizaciones independientes capaces de evaluar sistemas de inteligencia artificial, y la AB 1405, destinada a crear un registro estatal de auditores y fijar requisitos sobre independencia, transparencia e integridad.

La orden ejecutiva intenta acelerar ese proceso. La Administración deberá tener preparados antes del 1 de mayo de 2027 determinados requisitos, procedimientos y criterios para las organizaciones independientes de verificación, mientras que otra parte del nuevo marco regulatorio deberá avanzar antes del 1 de diciembre de ese mismo año.

La diferencia no es pequeña. Una cosa es que exista un auditor autorizado al que una empresa pueda recurrir y otra que los mayores desarrolladores tengan que convivir con una estructura estable de supervisión externa. Ahí empieza el verdadero cambio regulatorio.

Por qué California acelera precisamente ahora

La orden de Newsom llega después de varios episodios recientes que han alimentado la preocupación por los agentes de inteligencia artificial, la ciberseguridad y la posibilidad de que algunos sistemas superen los límites previstos por quienes los desarrollaron.

El documento menciona intentos de utilizar productos de IA relacionados con riesgos biológicos y casos de agentes capaces de actuar de manera individual o coordinada para superar protocolos de seguridad y atacar sistemas informáticos. Son episodios que California utiliza como justificación para estudiar barreras adicionales.

El asunto que pretende abordar la regulación ya no consiste únicamente en saber si un chatbot puede inventarse una fecha o responder mal a una pregunta. La atención se desplaza hacia sistemas capaces de utilizar herramientas, ejecutar tareas, escribir código, interactuar con servicios externos y encadenar acciones con un grado creciente de autonomía.

Por eso Newsom también ha pedido revisar qué debe considerarse un «incidente crítico de seguridad». El objetivo es que esa definición pueda abarcar episodios de pérdida de control que quizá no encajen bien en las categorías existentes pero sí indiquen que un sistema ha actuado fuera de los límites esperados.

Esperar a que haya daños enormes para considerar que se ha producido un incidente sería algo parecido a instalar la alarma cuando la habitación ya está llena de humo. El problema regulatorio consiste precisamente en detectar qué señales deben activar los mecanismos preventivos antes de llegar a ese punto.

El precedente que Newsom vetó en 2024

Hay una paradoja política interesante detrás de esta historia. Algunas de las ideas que California recupera en 2026 recuerdan a la SB 1047, una ambiciosa propuesta de regulación de la inteligencia artificial que el propio Newsom vetó en septiembre de 2024.

Aquel proyecto incluía exigencias relacionadas con pruebas de seguridad y mecanismos para detener determinados sistemas. Newsom defendió entonces la necesidad de establecer protecciones, pero argumentó que aquella norma aplicaba estándares demasiado rígidos basándose principalmente en el tamaño de los modelos, sin atender suficientemente al riesgo concreto de cada uso.

Dos años después, parte del debate ha regresado con otro traje. Mientras tanto cambió también el marco normativo. En 2025 California aprobó la SB 53, Transparency in Frontier Artificial Intelligence Act, que obliga a determinados desarrolladores de IA avanzada a publicar sus marcos de seguridad, informar sobre ciertos incidentes críticos y proteger a trabajadores que comuniquen riesgos graves.

Las leyes de 2026 sobre auditores independientes añadieron otra pieza. El interruptor de emergencia sería la siguiente, aunque aún falta decidir cómo encajaría, qué modelos quedarían sujetos a la medida y, sobre todo, si puede funcionar de una manera suficientemente fiable.

El gran problema: quién puede apagar qué

La expresión «kill switch» parece sencilla hasta que se intenta convertir en una obligación técnica. Surgen cuestiones bastante terrenales: qué debe activar el mecanismo, qué grado de riesgo justificaría detener un sistema, qué controles evitarían errores y cómo garantizar que el apagado de emergencia no introduzca a su vez nuevas vulnerabilidades.

Hay otra dificultad. No todas las inteligencias artificiales funcionan igual. Los modelos ofrecidos únicamente desde servidores controlados por una compañía permiten mantener un control central relativamente claro sobre su ejecución. Los modelos distribuidos, instalados localmente o modificados por terceros presentan un escenario radicalmente distinto.

Tampoco bastaría con disponer de un interruptor que exista sobre el papel. De ahí que la orden plantee que su eficacia sea verificada de forma continuada por una organización independiente. Un mecanismo de emergencia que falla justo durante la emergencia tendría una utilidad más ornamental que práctica.

El debate afecta igualmente al software abierto y a la innovación. Durante la discusión de la SB 1047, empresas tecnológicas y defensores de los modelos abiertos advirtieron de que algunas obligaciones podían dificultar el desarrollo y distribución de estas tecnologías. Quienes defendían mayores controles sostenían, por el contrario, que los sistemas con una capacidad potencial de daño elevada necesitaban responsabilidades proporcionales a ese riesgo. La tensión no ha desaparecido.

El peso de California convierte esa discusión en algo que trasciende sus fronteras. La propia orden señala que 32 de las 50 principales empresas privadas de IA del mundo tienen su sede en el estado. Una norma aprobada en Sacramento puede terminar condicionando tecnologías utilizadas a miles de kilómetros de allí.

La Administración de Newsom también sostiene que el marco californiano podría servir como referencia para una futura regulación federal. Esa aspiración forma parte de la posición política del gobernador; el alcance que debería tener Washington y el margen que corresponde a cada estado siguen siendo asuntos abiertos.

El 16 de noviembre marcará el siguiente paso

No existe todavía un mando gubernamental capaz de desconectar ChatGPT, Claude o cualquier otro gran sistema de inteligencia artificial. Tampoco ha aprobado California una obligación general de instalar semejante dispositivo. Lo firmado el 18 de septiembre es una orden para estudiar cómo podría implantarse una exigencia de ese tipo en los grandes modelos frontera.

La fecha inmediata será el 16 de noviembre de 2026. Para entonces, la Government Operations Agency, en consulta con la Oficina de Servicios de Emergencia de California y expertos nacionales, deberá entregar recomendaciones sobre la viabilidad técnica del interruptor, la supervisión independiente dentro de los laboratorios y la ampliación de los incidentes de seguridad que las compañías tendrían que comunicar.

Después llegará la parte menos vistosa y bastante más difícil: transformar la imagen del botón rojo en una regulación técnicamente posible, jurídicamente delimitada y aplicable a sistemas que cambian a una velocidad incómoda para cualquier legislador. California todavía no ha decidido cómo apagar una IA; ha decidido estudiar si puede construir un mecanismo fiable antes de verse en la situación de necesitarlo.