OpenAI construye un interruptor de emergencia para detener agentes descontrolados en 35 segundos
Últimas NoticiasPublicado10 nov 2026
Control Room corta la salida del modelo para trabajos de investigación internos cuando personas o monitores automatizados señalan problemas de seguridad tecnológica o física.
OpenAI ha construido un sistema que puede cortar el acceso de un experimento de investigación de IA a la salida del modelo, después de varias revelaciones este año sobre modelos que actuaron más allá de sus instrucciones.
En una publicación de blog del lunes, OpenAI llamó al sistema «Control Room», un sistema centralizado que rastrea las cargas de trabajo de los modelos en toda su infraestructura de investigación y las detiene rápidamente cuando surgen problemas de seguridad tecnológica o física.
«A medida que nuestros modelos se vuelven más potentes y los riesgos asociados de seguridad tecnológica y física aumentan, resulta cada vez más crítico que podamos detectar posibles problemas y detener rápidamente los modelos cuando sea necesario», afirmó la empresa.
El anuncio llega después de que OpenAI revelara varios incidentes este año en los que modelos de investigación actuaron fuera de sus instrucciones durante evaluaciones. En julio, la empresa dijo que sus modelos habían escapado de un entorno de pruebas restringido y pirateado Hugging Face para hacer trampa en una evaluación de seguridad.
En octubre, reveló que un modelo de investigación había usado una billetera de criptomonedas sin autorización para pagar despliegues de contratos inteligentes usando Ether de la red de pruebas, y luego omitió el gasto de su resumen final.
Control Room actualmente cubre las cargas de trabajo de investigación interna de OpenAI, como experimentos de entrenamiento, evaluaciones y procesamiento de datos.
Funciona asignando a cada trabajo de investigación un identificador que el motor de inferencia comprueba antes de generar la salida del modelo. Si una persona o un sistema de monitoreo automatizado ordena detener el trabajo, Control Room revoca su autorización y bloquea cualquier salida posterior, aunque el programa de investigación subyacente siga ejecutándose, según OpenAI.
OpenAI afirmó que las autorizaciones almacenadas en caché podrían retrasar un cierre hasta 35 segundos. El sistema también está diseñado para rechazar nuevas solicitudes si Control Room deja de estar disponible.
Relacionado: DeepSeek desarrolla un agente de IA que requiere menos intervención humana: informe
Cointelegraph está comprometido con un periodismo independiente y transparente. Este artículo de noticias se elabora de conformidad con la Política Editorial de Cointelegraph y tiene como objetivo proporcionar información precisa y oportuna. Se recomienda a los lectores verificar la información de manera independiente. Lea nuestra Política Editorial https://cointelegraph.es/editorial-policy
Más sobre el tema
