El grupo de Inteligencia de Amenazas de Google afirma haber identificado lo que cree que es el primer caso de hackers que utilizan inteligencia artificial para desarrollar un exploit de día cero.
El grupo dijo en un comunicado de blog del martes que había "observado a actores prominentes de amenazas cibernéticas asociándose para planificar una operación de explotación de vulnerabilidades masiva", utilizando una vulnerabilidad de día cero — un defecto de software desconocido para el proveedor en el momento de la explotación — que les permitió evitar la autenticación de dos factores de una herramienta de administración de sistemas web popular y sin nombre.
El exploit requería credenciales de usuario válidas primero, pero evitaba el segundo factor de autenticación, que a menudo también se utiliza para asegurar cuentas y billeteras de criptomonedas.
La IA se ha utilizado cada vez más tanto en ciberseguridad como por hackers de criptomonedas que buscan llevar a cabo exploits o estafas. La empresa de IA Anthropic afirmó el mes pasado que su modelo de IA reciente, Claude Mythos, encontró miles de vulnerabilidades de software en sistemas importantes.
Google dijo que tenía "alta confianza en que el actor probablemente aprovechó un modelo de IA para apoyar el descubrimiento y la creación de esta vulnerabilidad", ya que el script del exploit incluía una alucinación y un formato "altamente característico" de los datos de entrenamiento de un modelo de IA.
El informe no especificó el actor de amenazas, pero Google dijo que China y Corea del Norte han "demostrado un interés significativo en capitalizar la IA para el descubrimiento de vulnerabilidades".
Los LLMs destacan en la identificación de fallas de alto nivel
Google dijo que la vulnerabilidad no se debió a "errores de implementación comunes" como la corrupción de memoria, sino a una "falla lógica semántica de alto nivel" en la que el desarrollador codificó una suposición de confianza.
Esto implica que los atacantes utilizaron un modelo de lenguaje grande de frontera (LLM), ya que los modelos destacan en la identificación de fallas de alto nivel y "anomalías estáticas codificadas", agregó Google.
Varias familias de malware, como PROMPTFLUX, HONESTCUE y CANFAIL, también utilizan LLMs para la evasión de la defensa, generando código de señuelo o relleno para camuflar la lógica maliciosa, dijo Google.
El abuso industrializado de LLM está aumentando
El abuso de acceso a LLM se está industrializando a medida que los actores de amenazas han construido tuberías automatizadas para recorrer cuentas de IA premium, agrupar claves de API y evitar las barreras de seguridad a escala — ejecutando efectivamente operaciones adversarias subvencionadas por el abuso de cuentas de prueba.
"Al aprovechar los navegadores anti-detect y los servicios de agrupación de cuentas, los actores están intentando mantener un acceso anónimo de alto volumen a los niveles premium de LLM, industrializando efectivamente sus flujos de trabajo adversarios."
Google concluyó que a medida que las organizaciones continúan integrando LLMs en entornos de producción, el ecosistema de software de IA ha surgido como un objetivo principal para la explotación.
Observó que los adversarios apuntan cada vez más a los componentes integrados que otorgan utilidad a los sistemas de IA, como las habilidades autónomas y los "conectores de datos de terceros", pero los actores de amenazas aún no han logrado capacidades de avance para evitar la lógica de seguridad central de los modelos de frontera, afirmó.
