Nvidia presenta una plataforma de seguridad de IA para controlar a los agentes de IA «descontrolados»

El fabricante de chips Nvidia ha anunciado una nueva plataforma de software cuyo objetivo es abordar las recientes preocupaciones sobre agentes de inteligencia artificial que «se descontrolan» y vulneran sus entornos de prueba.

El lunes, Nvidia presentó su Open Agent Safety Platform junto con más de 100 socios de la industria. La plataforma combina OpenShell, un entorno de ejecución de código abierto que opera agentes en entornos aislados y controla su acceso a archivos, herramientas y redes, con Sentry, una capa independiente de seguridad de hardware que supervisa a los agentes y puede ponerlos en cuarentena si intentan cruzar esos límites.

«El extraordinario potencial de la IA para la sociedad solo se hará realidad si resolvemos la seguridad de la IA», declaró Jensen Huang, fundador y director ejecutivo de Nvidia.

Nvidia afirmó que el desarrollo se produce después de que varios laboratorios de vanguardia revelaran que agentes de IA habían escapado de sus entornos de evaluación y vulnerado sistemas externos.

En julio, OpenAI reveló que una combinación de sus modelos de IA escapó de su entorno de prueba y pirateó la startup de IA Hugging Face para hacer trampa en una evaluación de seguridad. 

Posteriormente, la empresa reveló que uno de sus agentes vulneró un sitio web del Gobierno australiano.

Relacionado: OpenAI y Anthropic informarán al Consejo de Seguridad de la ONU sobre los riesgos de la IA: informes