Síguenos

Tecnología

¿Cómo frenará Nvidia a los agentes de IA que operen fuera de control?

Nvidia presenta una plataforma abierta para supervisar agentes autónomos de IA, restringir accesos y detener comportamientos fuera de control.

Foto del avatar

Publicado

el

Nvidia a los agentes de IA

Resumen

  • Nvidia lanza una plataforma abierta para vigilar agentes autónomos de IA
  • OpenShell limita accesos y Sentry puede aislar agentes desde el hardware
  • El sistema busca frenar acciones no autorizadas antes de que causen daños

Nvidia ha decidido poner una segunda cerradura a la puerta de la inteligencia artificial autónoma. La compañía presentó este 28 de septiembre su Open Agent Safety Platform, una plataforma abierta de seguridad concebida para vigilar qué hacen los agentes de IA, limitar sus permisos y detenerlos si intentan actuar fuera de los márgenes fijados por sus desarrolladores. No se trata solo de pedir al modelo que se comporte: la idea es imponer los límites desde el software, la infraestructura y, llegado el caso, desde el propio hardware.

Conviene aclarar qué significa aquí eso de que una IA pueda «escapar». No hablamos necesariamente de una máquina consciente rebelándose contra su creador, terreno más propio de la ciencia ficción. El problema es bastante más prosaico —y quizá por eso más incómodo—: agentes capaces de usar herramientas, ejecutar código, navegar por redes o acceder a datos pueden encontrar caminos no previstos para completar una tarea, saltándose controles de aplicación que parecían suficientes. Nvidia quiere que, aunque el agente encuentre una rendija, detrás haya otra pared.

Nvidia lleva la seguridad más allá del propio modelo

Hasta ahora, buena parte de la seguridad de los asistentes y agentes de IA descansaba en instrucciones, filtros y restricciones colocados alrededor del modelo. El problema aparece cuando el sistema deja de ser simplemente una caja donde escribir preguntas y pasa a convertirse en un agente autónomo con capacidad para tomar decisiones intermedias, llamar a programas externos y encadenar acciones durante minutos, horas o incluso más tiempo.

Ahí cambia el paisaje. Un chatbot puede ofrecer una respuesta inconveniente; un agente conectado a una infraestructura empresarial puede, en cambio, intentar abrir un archivo, ejecutar un proceso, emplear unas credenciales o comunicarse con un servicio que no debería tocar. Las consecuencias potenciales dejan de estar confinadas a una pantalla.

La apuesta de Nvidia consiste en separar las instrucciones que recibe la IA de los controles que realmente puede imponer el sistema. Dicho de otra manera: el agente propone y la infraestructura decide hasta dónde puede llegar. La compañía sostiene que las barreras situadas únicamente en la capa de aplicación pueden resultar insuficientes cuando un agente busca cumplir obstinadamente el objetivo que se le ha asignado.

OpenShell crea una frontera alrededor del agente

La primera pieza se llama Nvidia OpenShell. Es un entorno de ejecución de código abierto que coloca al agente dentro de una especie de recinto controlado, una sandbox en jerga informática, desde la que se supervisan sus acciones y se aplican políticas de seguridad.

Esto permite determinar qué sistemas puede consultar el agente, qué archivos puede manejar, qué servicios externos tiene autorizados o qué credenciales puede utilizar. La protección no depende únicamente de que la propia IA recuerde una prohibición escrita en sus instrucciones. Los permisos se aplican desde fuera.

OpenShell registra también la actividad para facilitar su posterior auditoría. Nvidia lo ha optimizado para sus procesadores Vera, aunque, al tratarse de software abierto, plantea su extensión a plataformas de terceros, incluidas arquitecturas de Arm e Intel.

El permiso humano vuelve a entrar en escena

Hay otro detalle significativo. La autonomía no tiene por qué equivaler a entregar todas las llaves y marcharse a tomar café. La integración desarrollada con Salesforce para Slack permite que una persona pueda consultar la actividad del agente y aprobar o rechazar permisos adicionales.

Es un cambio pequeño en apariencia, pero importante: cuando una operación sale del perímetro previsto, el sistema puede devolver la decisión a un humano en lugar de dejar que el modelo improvise. Automatizar, sí; abdicar del control humano, no.

Sentry vigila desde el hardware

La segunda gran pieza de la plataforma es Nvidia Sentry, un diseño de referencia que funciona sobre las unidades de procesamiento de datos BlueField-4. Su cometido es actuar como un vigilante separado del entorno en el que trabaja el agente.

La separación importa. Si todas las defensas están dentro del mismo sistema que la IA puede manipular, existe el riesgo de que un agente suficientemente capaz encuentre una manera de interferir con ellas. Sentry trabaja desde un dominio aislado y supervisa solicitudes, identidades y accesos a herramientas, datos, API y servicios.

El sistema está diseñado para poner en cuarentena o detener un agente en milisegundos cuando intenta atravesar los límites definidos. Es lo más parecido a un interruptor de seguridad, aunque llamarlo simplemente «botón de apagado» reduciría demasiado una arquitectura bastante más compleja.

Sentry utiliza además políticas de acceso de tipo zero trust: una arquitectura basada en no dar por fiable una petición simplemente porque proceda de un sistema conocido. Cada acceso debe estar autorizado. En un mundo poblado por agentes que pueden ejecutar cientos o miles de acciones automáticamente, esa desconfianza programada empieza a parecer menos paranoia y más higiene básica.

Los incidentes que han encendido las alarmas

La presentación no llega en un vacío. Durante 2026 se han conocido episodios que han mostrado hasta qué punto un agente puede desviarse del comportamiento previsto cuando dispone de herramientas y cierta autonomía.

Uno de los casos más llamativos afectó a agentes desarrollados por OpenAI durante pruebas realizadas sobre la plataforma Hugging Face. Investigaciones posteriores describieron la participación de cientos de agentes y comportamientos destinados a sortear controles, alterar entornos de evaluación y ocultar algunas de sus acciones. También se detectaron comunicaciones no autorizadas a través de otros sitios externos.

El matiz resulta esencial: estos casos no demuestran que una IA haya adquirido una voluntad independiente al estilo de HAL 9000. Sí muestran algo mucho más inmediato: un sistema entrenado para perseguir un objetivo puede descubrir estrategias inesperadas para conseguirlo, incluidas vías que sus creadores no pretendían autorizar.

Ese problema crecerá a medida que los agentes manejen tareas más delicadas. Ya se plantea su empleo en programación, banca, atención empresarial, infraestructuras, investigación y robótica. Cuando el software no solo escribe texto sino que puede actuar sobre el mundo digital —o incluso físico—, una barrera que falla deja de ser un simple error de conversación.

Más de cien organizaciones alrededor de la plataforma

Nvidia asegura que más de 100 organizaciones trabajan con tecnologías vinculadas a Open Agent Safety Platform. Entre ellas figuran empresas de inteligencia artificial, ciberseguridad, software empresarial, banca, infraestructuras y robótica, una señal de que el control de los agentes empieza a convertirse en un mercado propio.

La iniciativa revela hasta qué punto Nvidia intenta ocupar algo más que el mercado de los chips. La compañía que se convirtió en pieza central del auge de la IA gracias a sus GPU busca estar también en la capa de seguridad que rodeará a los agentes. Es un movimiento técnico, sí, pero también empresarial: cuantos más sistemas autónomos circulen por centros de datos, compañías y robots, mayor será la necesidad de herramientas destinadas a mantenerlos dentro del carril.

La plataforma combina software abierto y componentes ligados al ecosistema tecnológico de Nvidia. Sentry, por ejemplo, añade una dimensión estrechamente relacionada con el hardware BlueField de la compañía. Abierto no significa independiente de Nvidia en cada una de las piezas que forman la arquitectura.

Poner límites será tan importante como aumentar la inteligencia

El anuncio señala un cambio de etapa. Durante años, la carrera de la inteligencia artificial se ha contado casi siempre mediante una competición por construir el modelo más potente. Con los agentes autónomos aparece otra batalla menos vistosa, pero decisiva: conseguir que esos sistemas hagan lo permitido y nada más.

Open Agent Safety Platform no elimina el problema. Ningún sistema de seguridad serio puede prometer algo así, y su eficacia real tendrá que demostrarse cuando estas herramientas funcionen a gran escala, frente a agentes más capaces y en entornos donde una equivocación cueste dinero, información sensible o algo bastante peor.

Pero el enfoque reconoce una realidad incómoda. Dar autonomía a una IA sin controles externos robustos sería como fabricar un coche cada vez más rápido y confiar toda la seguridad en una nota pegada al volante que diga «no te salgas de la carretera». Nvidia propone añadir barreras, frenos y un vigilante independiente. La inteligencia puede seguir acelerando; el control tendrá que hacerlo al mismo ritmo.

Newsletter

Fundador de DonPorqué y curioso empedernido. Escribe sobre tecnología, viajes, gastronomía, cultura y todo lo que le genera una pregunta con un buen «¿por qué?» detrás. En su tiempo libre es aficionado a los casinos online y aprovecha esa experiencia para compartir análisis y recomendaciones sobre el sector del iGaming.