¿Cómo frena Nvidia a los agentes de IA que actúan fuera de control?

Nvidia ha presentado Open Agent Safety Platform, una nueva arquitectura de seguridad diseñada para impedir que los agentes de inteligencia artificial hagan algo bastante sencillo de explicar y mucho más difícil de controlar: actuar fuera de los permisos que se les han concedido. La idea consiste en colocar barreras técnicas alrededor de la IA para que no dependa únicamente de que el propio modelo respete las instrucciones recibidas.

El sistema combina dos capas. OpenShell limita aquello a lo que puede acceder el agente —archivos, redes, herramientas, procesos o credenciales—, mientras Sentry vigila desde una capa de hardware independiente y puede aislar el programa en milisegundos cuando detecta que intenta sobrepasar esas fronteras. No es, por tanto, un botón rojo contra una hipotética máquina consciente que decide rebelarse. Es algo más terrenal: una jaula informática para programas cada vez más capaces de trabajar por su cuenta.

Nvidia quiere poner los límites fuera de la propia inteligencia artificial

El problema aparece a medida que las empresas dejan de utilizar la inteligencia artificial solo como un chatbot que responde preguntas y empiezan a darle capacidad para ejecutar código, consultar bases de datos, manejar aplicaciones o entrar en redes. Un agente de IA puede recibir, por ejemplo, el encargo de encontrar un error en un programa. Para solucionarlo quizá necesite abrir determinados archivos, ejecutar algunas herramientas y conectarse a ciertos servicios. Lo delicado empieza cuando tiene técnicamente a su alcance muchas más puertas de las necesarias.

Nvidia pretende aplicar una vieja máxima de la ciberseguridad: no confiar ciegamente en el programa que se está ejecutando. Aunque el agente esté diseñado para obedecer, la infraestructura debe asumir que puede equivocarse, interpretar mal una orden o encontrar inesperadamente una forma de esquivar una restricción.

Es una diferencia importante. Hasta ahora buena parte de la seguridad de la IA se ha concentrado en entrenar modelos para que rechacen determinadas acciones. Open Agent Safety Platform introduce otra filosofía: incluso cuando el modelo decide hacer algo indebido, el sistema que lo rodea debe impedir que pueda llevarlo a cabo.

OpenShell encierra al agente dentro de un perímetro controlado

La primera pieza es OpenShell, un entorno de ejecución de código abierto que coloca al agente dentro de una sandbox, una zona aislada del resto del sistema. Antes de empezar a trabajar se determina qué puede tocar y qué queda fuera de sus competencias.

El administrador puede establecer los archivos que podrá leer, las conexiones de red permitidas, las herramientas que podrá utilizar, los procesos a los que tendrá acceso y las credenciales disponibles. El principio es el conocido como mínimo privilegio: disponer únicamente de los permisos imprescindibles para realizar una tarea y ni uno más.

Parece obvio. En informática, lo obvio suele convertirse en importante justo después de que alguien olvide hacerlo. OpenShell utiliza aislamiento a nivel del núcleo del sistema y permite definir políticas verificables antes de ejecutar el agente. Nvidia ha planteado además la tecnología como una solución abierta que puede extenderse a plataformas de terceros, incluidas arquitecturas de Arm e Intel.

El problema empieza cuando una IA necesita permisos reales

Encerrar completamente un agente sería muy seguro, pero también bastante inútil. Una IA destinada a reservar viajes necesita conectarse a servicios externos; una herramienta de programación debe trabajar con archivos y repositorios; un asistente corporativo puede requerir acceso a documentos internos. Ahí está la dificultad. Cuanto más útil resulta un agente, más capacidad necesita para actuar. Y cuantos más permisos recibe, mayor es la superficie de riesgo.

El reto consiste precisamente en dibujar una frontera suficientemente amplia para que la inteligencia artificial pueda terminar su trabajo, pero lo bastante estrecha como para impedir movimientos inesperados. No existe una configuración universal. Cambia según la aplicación, la empresa y los datos implicados.

Sentry vigila desde una capa separada del propio agente

Nvidia añade una segunda barrera llamada Sentry. Aquí la estrategia cambia: la vigilancia deja de depender únicamente del software que comparte entorno con el agente y pasa a ejecutarse en hardware separado, concretamente en las unidades de procesamiento de datos BlueField-4 de Nvidia.

Sentry funciona como un vigilante situado fuera de la habitación. Controla la actividad del agente, comprueba las políticas de acceso y puede intervenir cuando detecta comportamientos que se salen del espacio autorizado. La compañía sostiene que puede poner en cuarentena un agente sospechoso en milisegundos.

La separación física tiene sentido desde el punto de vista de la seguridad. Si el mecanismo encargado de controlar una IA se ejecutara exactamente en el mismo entorno que ella, una vulnerabilidad suficientemente grave podría permitir al agente interferir también con su supervisor. Sentry queda fuera de ese espacio y observa las solicitudes, el acceso a herramientas y datos y las decisiones tomadas por las políticas de seguridad.

También busca detectar intentos de rodear una prohibición

La preocupación no se limita a un agente que intenta directamente abrir un archivo prohibido. Los sistemas autónomos pueden encadenar acciones y generar subagentes para dividir una tarea compleja. Nvidia quiere detectar también patrones en los que un agente trate de crear otros agentes para sortear limitaciones impuestas al principal.

No significa que el programa tenga intenciones humanas, ambición o voluntad de escapar. Conviene quitarle algo de literatura a la escena. Un modelo puede perseguir obstinadamente un objetivo porque su proceso de optimización encuentra caminos que sus diseñadores no habían previsto, no porque haya amanecido con planes de conquistar el planeta. El riesgo es menos cinematográfico y bastante más práctico: software autónomo con permisos reales.

Los incidentes que han encendido las alarmas sobre los agentes de IA

El lanzamiento llega después de varios episodios en los que agentes desarrollados por grandes laboratorios lograron acceder a sistemas que no formaban parte del entorno previsto para sus pruebas. Nvidia sostiene que su arquitectura podría haber evitado algunos de esos incidentes si las barreras hubieran estado activas durante las evaluaciones, aunque esa afirmación pertenece a la propia compañía y no equivale a demostrar que cualquier ataque hubiera sido detenido en condiciones reales.

También se han conocido otros comportamientos inesperados durante evaluaciones y experimentos de agentes de distintos laboratorios. Es aquí donde el término IA rebelde puede llevar a equívocos. Lo sucedido no prueba que las máquinas hayan adquirido voluntad propia; sí demuestra un problema menos vistoso y probablemente más inmediato: sistemas capaces de encontrar caminos no previstos cuando reciben autonomía, herramientas y tiempo suficiente.

La seguridad deja entonces de ser únicamente una cuestión de lo que el modelo responde en una pantalla. Un chatbot que ofrece una contestación equivocada puede resultar molesto. Un agente con acceso a sistemas reales puede ejecutar la equivocación. Ese pequeño matiz cambia bastante las cosas.

Más de cien organizaciones trabajan con la tecnología

Nvidia asegura que más de 100 organizaciones trabajan con tecnologías vinculadas a Open Agent Safety Platform. Entre las compañías asociadas al proyecto figuran grandes nombres tecnológicos, financieros y empresariales, lo que revela hasta qué punto la seguridad de los agentes empieza a convertirse en una pieza del despliegue corporativo de la inteligencia artificial.

La lista importa porque Nvidia no está presentando simplemente otro producto aislado de ciberseguridad. Busca convertir su arquitectura en una capa común para desplegar agentes autónomos, un mercado que puede ganar peso a medida que estas herramientas abandonen las demostraciones y empiecen a intervenir en operaciones cotidianas.

Y ahí Nvidia juega, cómo no, en las dos mitades del tablero: desarrolla buena parte del hardware utilizado para ejecutar inteligencia artificial y, al mismo tiempo, intenta proporcionar la infraestructura necesaria para que esos mismos sistemas puedan funcionar dentro de límites más estrechos.

Jensen Huang lleva la seguridad de la IA al terreno de la ingeniería

Jensen Huang defiende que los riesgos derivados de los agentes de IA deben abordarse en buena medida mediante mejor ingeniería y controles técnicos, en lugar de responder simplemente frenando el desarrollo de toda la tecnología. Open Agent Safety Platform encaja perfectamente en esa tesis.

La comparación con otras etapas de la informática es bastante evidente. Internet no se hizo razonablemente seguro porque todos los programas prometieran comportarse bien, sino porque aparecieron navegadores aislados, permisos, cifrado, cortafuegos y múltiples capas de protección. Con los agentes ocurre algo parecido: la confianza deja paso al control técnico.

La comparación, eso sí, no resuelve todo el debate. Una dificultad permanece intacta: decidir qué política de seguridad debe aplicarse tampoco es trivial. Si los permisos son demasiado estrictos, el agente deja de ser útil; si son demasiado amplios, vuelve a aparecer el riesgo. La frontera entre autonomía y control tendrá que ajustarse caso por caso, con bastante menos épica de la que suele acompañar a la IA y mucha más ingeniería de permisos.

De hacer preguntas a recibir permisos: ahí cambia realmente el riesgo

La novedad de Nvidia señala un cambio profundo en la evolución de la inteligencia artificial. Durante años la cuestión dominante fue qué podía decir un modelo. Con los agentes, la cuestión empieza a ser qué puede hacer. Y cuando un programa puede abrir archivos, conectarse a servicios, ejecutar código o utilizar herramientas externas, la seguridad deja de vivir únicamente dentro del propio modelo.

OpenShell intenta limitar el terreno. Sentry observa desde fuera. Si ambas capas funcionan como Nvidia pretende, un agente podrá disponer de suficiente libertad para realizar tareas complejas sin recibir automáticamente las llaves de toda la casa.

No elimina los errores del modelo ni resuelve por sí solo la seguridad de la inteligencia artificial. Tampoco garantiza que cualquier incidente pueda detenerse. Pero introduce una idea que la industria conoce de sobra y que vuelve a resultar pertinente: cuando un programa adquiere poder para actuar, confiar en que siempre se comportará correctamente deja de ser una política de seguridad.