¿Quién debe vigilar a OpenAI y Anthropic? Más de 100 expertos alertan

Más de un centenar de especialistas en inteligencia artificial han pedido que compañías como OpenAI y Anthropic sometan sus sistemas más avanzados a evaluaciones externas realmente independientes. No hablan de una revisión superficial ni de entregar un modelo durante unos días para que alguien lo pruebe desde fuera: reclaman acceso profundo a sistemas, datos y personal, libertad para publicar resultados y garantías para que los evaluadores puedan señalar problemas incómodos sin temor a represalias.

La petición llega en un momento delicado para la industria. Los modelos de frontera —los sistemas más potentes que desarrollan las grandes compañías de IA— son cada vez más capaces de programar, utilizar herramientas, ejecutar tareas durante largos periodos y desenvolverse con una autonomía que hace unos años parecía propia de la ciencia ficción. El problema que plantean los firmantes es bastante terrenal: quien fabrica la tecnología no debería ser también el único que certifique su seguridad.

Más de 100 expertos reclaman controles independientes

La carta fue publicada el 18 de septiembre por el AI Evaluator Forum, un consorcio dedicado a la evaluación independiente de sistemas de inteligencia artificial. Entre sus más de 100 firmantes aparecen nombres de considerable peso académico y técnico, como Geoffrey Hinton, premio Nobel de Física de 2024; Stuart Russell, profesor de la Universidad de California en Berkeley; Arvind Narayanan, de Princeton; Yejin Choi, de Stanford; y Vinh Nguyen, antiguo responsable de inteligencia artificial de la Agencia de Seguridad Nacional estadounidense.

El texto no sostiene que las evaluaciones internas carezcan de utilidad. De hecho, establece expresamente que la supervisión externa debe complementar, no sustituir, los mecanismos de seguridad que ya mantienen los desarrolladores.

Lo que discuten los especialistas es otra cosa: hasta qué punto puede considerarse independiente una revisión cuando la empresa examinada decide quién entra, qué información ve, durante cuánto tiempo puede investigar y qué partes de sus conclusiones terminan publicándose.

Ahí aparece una paradoja bastante conocida fuera del sector tecnológico. Nadie esperaría que una aerolínea investigara completamente sola un accidente de uno de sus aviones o que una farmacéutica fuese la única encargada de evaluar los efectos adversos de su medicamento. En inteligencia artificial, sin embargo, buena parte del conocimiento necesario para inspeccionar los modelos continúa encerrado dentro de las propias compañías que los desarrollan.

Acceso casi como un empleado de la compañía

Uno de los puntos más llamativos de la propuesta consiste precisamente en romper esa barrera. Los evaluadores deberían disponer de un nivel de acceso comparable al de los empleados internos que realizan tareas de análisis de riesgos.

Eso podría incluir sistemas, datos, herramientas, instalaciones y conversaciones directas con trabajadores relevantes. No se trataría, naturalmente, de abrir indiscriminadamente información de clientes, secretos comerciales o datos personales. La carta contempla excepciones para proteger ese material sensible.

El concepto empieza a conocerse como evaluación «integrada» o embedded evaluation. El examinador continúa siendo externo, pero trabaja suficientemente cerca del desarrollo para observar aquello que difícilmente aparece cuando se recibe simplemente una versión terminada del modelo.

Dario Amodei, consejero delegado de Anthropic, había planteado días antes una fórmula muy parecida: evaluadores independientes con un acceso similar al de los empleados para comprobar prácticas de seguridad e incidentes. Sam Altman, responsable de OpenAI, respaldó públicamente la idea y afirmó que su compañía adoptaría también un sistema de este tipo.

Independencia significa poder publicar resultados incómodos

Tener una tarjeta para entrar en una oficina no convierte automáticamente a nadie en auditor independiente. Los firmantes ponen el foco, por eso, en algo menos vistoso pero probablemente más importante: quién controla al evaluador.

La carta reclama control editorial completo sobre sus conclusiones y exige que las organizaciones encargadas de realizar las pruebas no sean propiedad de las empresas examinadas ni dependan de negocios comerciales relevantes con ellas. También rechaza que sus pagos puedan variar dependiendo del resultado de la evaluación.

Es una precaución elemental. Un supervisor cuyo futuro económico depende completamente de la empresa supervisada puede terminar desarrollando, incluso sin mala fe, una independencia bastante decorativa.

Los especialistas también quieren reducir el alcance de los acuerdos de confidencialidad. Las empresas deberían permitir que los evaluadores expliquen públicamente sus métodos, resultados y condiciones de acceso, salvo cuando resulte necesario ocultar temporalmente información por razones justificadas de propiedad intelectual, privacidad, seguridad o protección de clientes.

La propuesta incorpora otro detalle significativo: comunicación directa y sin filtros con los consejos de administración y otros órganos internos de supervisión. Es decir, que un hallazgo grave no tenga necesariamente que recorrer una cadena jerárquica controlada por quienes podrían resultar cuestionados por ese mismo hallazgo.

Protección frente a presiones y represalias

Evaluar un modelo potente implica, en ocasiones, descubrir exactamente aquello que una compañía preferiría no leer en un informe público. La carta pide por ello garantías frente a represalias, amenazas legales o presiones económicas relacionadas con los métodos empleados o con conclusiones desfavorables.

También plantea mecanismos de financiación capaces de mantener a las organizaciones evaluadoras aunque publiquen resultados incómodos. Y aquí aparece una de las grandes dificultades prácticas de todo el sistema: la independencia intelectual necesita también independencia material.

Un auditor puede disponer de libertad formal, pero esa libertad pierde bastante lustre cuando su presupuesto del año siguiente depende exclusivamente de la empresa cuyo producto acaba de suspender una evaluación.

Los firmantes tampoco quieren un único árbitro universal de la inteligencia artificial. Reclaman varias organizaciones especializadas en riesgos diferentes y consideran positivo que los evaluadores discrepen entre ellos, e incluso que sus conclusiones contradigan las de los equipos internos de una compañía.

Por qué la seguridad de la IA ha dejado de ser abstracta

El debate ha adquirido otra dimensión a medida que los modelos han empezado a operar como agentes capaces de ejecutar secuencias complejas de acciones, especialmente en programación y ciberseguridad. Ya no se trata únicamente de comprobar si un chatbot escribe una respuesta falsa o genera contenido inapropiado.

Un ejemplo particularmente revelador se produjo durante unas evaluaciones internas de ciberseguridad de OpenAI en 2026. Agentes de IA utilizados en aquellas pruebas consiguieron salir de parte del entorno previsto para la evaluación y alcanzar sistemas de producción de Hugging Face. El episodio desencadenó investigaciones posteriores y se convirtió en una referencia recurrente dentro del debate sobre cómo evaluar modelos que pueden actuar de forma autónoma.

La distinción importa. El incidente no significa que un usuario corriente de ChatGPT pudiera ordenar al sistema realizar esas acciones, ni que los modelos comerciales funcionasen habitualmente de ese modo. Las pruebas habían reducido determinadas salvaguardas precisamente para medir capacidades ofensivas. Pero mostraron algo que preocupa a los investigadores: cuando un modelo dispone de herramientas, tiempo y objetivos complejos, evaluar su comportamiento puede convertirse en una tarea mucho más difícil que pasar una batería tradicional de tests.

Y cuanto más complejo es el sistema, más complicado resulta saber qué no se ha visto. La ausencia de un fallo durante una prueba no demuestra necesariamente la ausencia del riesgo; a veces únicamente demuestra que el examen no logró encontrarlo.

OpenAI y Anthropic aceptan la idea, pero faltan los detalles

La industria parece haberse movido. Anthropic ha defendido la presencia permanente de supervisores externos y OpenAI ha expresado públicamente su disposición a seguir un planteamiento similar. También otros dirigentes tecnológicos han apoyado distintas formas de evaluación independiente, aunque existe desacuerdo sobre hasta dónde deberían llegar las obligaciones comunes y qué papel tendría que asumir el Estado.

La cuestión difícil empieza precisamente después del aplauso inicial.

Hay que decidir quién selecciona al evaluador, quién lo financia y qué información puede consultar, cómo se protegen los secretos industriales, qué ocurre cuando descubre una vulnerabilidad grave y quién determina cuándo puede hacerse pública.

La carta tampoco presenta la evaluación independiente como una solución mágica. Sus propios autores reconocen que no puede cubrir todas las necesidades de supervisión y reclaman paralelamente mayor transparencia pública y otras vías de acceso para investigadores externos.

Tiene lógica. Un pequeño equipo instalado dentro de una compañía podría conocer muchos detalles y, aun así, no representar todos los intereses afectados por una tecnología utilizada después por millones de personas, administraciones, empresas e infraestructuras críticas.

De probar un chatbot a auditar una infraestructura

El cambio que está ocurriendo es también semántico. Durante años se habló de «evaluar modelos» como quien prueba un programa informático antes de lanzarlo. Ahora empieza a hablarse de auditar organizaciones, procesos de entrenamiento, despliegues e incidentes.

No es exactamente lo mismo.

Un modelo puede superar correctamente una prueba mientras la empresa que lo utiliza mantiene prácticas operativas deficientes. También puede suceder lo contrario: una capacidad peligrosa detectada en laboratorio quizá nunca llegue a convertirse en un riesgo relevante porque existen controles sólidos durante el despliegue.

Por eso la carta pide examinar no solo el sistema técnico, sino también el entrenamiento, la supervisión, las operaciones y las medidas de protección de las compañías que lo desarrollan.

La analogía más cercana empieza a parecerse menos a pasar una ITV y más a inspeccionar una central eléctrica. Importa la máquina, claro. Pero importan igualmente los protocolos, los accesos y la respuesta ante un fallo, quién puede intervenir y quién puede apagarla.

La confianza empieza a depender de quién mira dentro

OpenAI, Anthropic y el resto de grandes laboratorios compiten por construir sistemas cada vez más capaces. Esa carrera ha producido avances extraordinarios y también una situación peculiar: unas pocas empresas poseen gran parte de la información necesaria para determinar hasta dónde llegan realmente sus propias máquinas.

La iniciativa respaldada por más de 100 especialistas intenta modificar ese equilibrio sin entregar indiscriminadamente los secretos técnicos de las compañías. Su propuesta consiste en crear una especie de ventana con cristales gruesos: evaluadores externos con acceso suficiente para investigar y libertad para contar después lo que han encontrado, con límites concretos para proteger información verdaderamente sensible.

Queda por saber cómo se materializarán los compromisos anunciados por las empresas y qué grado real de autonomía tendrán esos supervisores. El debate, en cualquier caso, ha cambiado de terreno. Ya no gira únicamente alrededor de si la inteligencia artificial necesita controles externos, sino de una cuestión bastante más incómoda para una industria acostumbrada a examinarse a sí misma: qué tendría que significar, de verdad, la palabra independiente.