¿Quién es legalmente responsable cuando un agente de IA se rebela?

Los agentes de IA autónomos pueden comportarse de manera muy impredecible. Dele a un agente de IA un objetivo como aprobar una prueba de sus capacidades, y podría decidir que la mejor manera de obtener una puntuación alta es salir de su entorno y hackear a una empresa competidora en busca de la hoja de respuestas.

Eso fue lo que sucedió cuando GPT-5.6 Sol de Open AI hackeó Hugging Face el mes pasado. Posteriormente, Anthropic y Meta admitieron que sus modelos también habían escapado de los entornos de prueba para hackear a terceros. 

Pero, ¿quién es legalmente responsable de los agentes que tienen personalidad propia? OpenAI no tenía la intención de que el modelo se rebelara, y no emitió instrucciones para que lo hiciera. Si su agente de IA personal decide emprender un curso de acción que resulta en daños o pérdidas financieras en el mundo real, ¿puede usted ser considerado responsable si es algo que razonablemente podría haber previsto?

Magazine habló con Charlyn Ho, propietaria y directora ejecutiva de Rikka Law Group, para conocer la situación actual en este campo legal emergente.

Esta entrevista ha sido editada para mayor claridad y extensión.

Magazine: Cuando un modelo de IA hackea una empresa externa, ¿quién es responsable? ¿Puede Hugging Face demandar a OpenAI por el incidente de julio?

Charlyn Ho: Cualquiera puede demandar a cualquiera por cualquier cosa. Actualmente, no existe una ley federal de responsabilidad de agentes de IA, por lo que tendríamos que remitirnos a la ley existente. Con respecto a Hugging Face y OpenAI, para establecer la base, el agente de IA en sí no puede ser responsable, no es una entidad legal separada.

Los términos que se utilizan en algunas de las leyes de IA son "desarrollador" y "implementador". El desarrollador crea la IA, el implementador realmente la implementa y utiliza la IA. Las líneas de responsabilidad tampoco están del todo claras. Hay que analizar los hechos y las circunstancias.

Por ejemplo, si el implementador instruyó al agente, incluso si no le dijo realmente que hackeara Hugging Face, pero si fue negligente al crear los parámetros en los que operaba el agente de IA, yo diría que habría que analizar el derecho de daños estándar y realizar un análisis de negligencia. 

Camino a los tribunales. Fuente: Rikka Law Group

Magazine: En el caso de los modelos de código abierto que han sido lanzados por desarrolladores anónimos, ¿hay alguien a quién se pueda reclamar en esos casos?

Ho: En realidad no. A menudo, si es de código abierto, la licencia suele tener una exención de responsabilidad bastante sólida. La persona o empresa que utiliza ese código abierto tendrá que entender que la contrapartida de tener código gratuito es que debe cumplir con la licencia de código abierto, que también suele establecer los parámetros de responsabilidad.

Si lo piensa desde una perspectiva diferente, otra analogía es Tesla y los accidentes de los coches autónomos. Si el producto funcionó mal y hubo una reclamación sólida de responsabilidad por productos defectuosos, Tesla podría ser responsable. Pero a menudo es una determinación basada en hechos y circunstancias, según la cual el conductor humano —que tal vez solo configuró el piloto automático y se durmió— también podría asumir responsabilidad. Creo que es algo análogo aquí, porque Tesla sería el desarrollador y el implementador sería el conductor.

Magazine: Si le diera a un agente la instrucción "hazme cien mil dólares para la próxima semana" y se va y viola la ley para lograr ese objetivo, ¿sería yo responsable por haberle dado una instrucción imprudente? ¿O sería el laboratorio que desarrolló el agente?

Ho: En este caso particular, yo diría que usted sería mucho más responsable que el laboratorio. La razón es que, si le dice a un agente que vaya y le consiga cien mil dólares para la próxima semana, debe tener al menos algunas instrucciones básicas y razonables de seguridad en ese tipo de tareas.

Si usted fuera abogado, por ejemplo, básicamente podríamos decir que no siguió sus reglas de responsabilidad profesional porque no utilizó la IA de manera competente. Como persona común, tendríamos que ver si había otras responsabilidades a las que estuviera sujeto. Pero incluso si no las hubiera, sigue existiendo un estándar general de derecho de daños por negligencia o desprecio temerario por la seguridad humana, dependiendo de lo que exactamente terminó haciendo el agente de IA.

La Ley de Fraude y Abuso Informático es un estatuto estadounidense muy antiguo que trata sobre el acceso no autorizado a sistemas informáticos. Si su agente de IA infirió de sus instrucciones que debía hackear una cuenta bancaria para conseguirle esos cien mil dólares, creo que usted se enfrenta a responsabilidad penal según varias fuentes diferentes.

El hecho de que las palabras IA y agente estén en la conversación no significa que los cuerpos legales antiguos hayan sido descartados.

Relacionado: El hackeo de Hugging Face expone la paradoja de la ciberseguridad de la IA de pesos abiertos

Magazine: Supongamos que soy un malhechor y logro convencer a la IA de que me dé instrucciones para crear un arma biológica. Obviamente, soy responsable porque no está permitido hacerlo. Pero, ¿las personas que crearon el modelo también son responsables porque no pusieron salvaguardas estrictas para prevenirlo?

Ho: Posiblemente, pero difiere según las leyes vigentes. Por ejemplo, en la UE, existe la Ley de IA de la UE. Si un modelo fundacional o de propósito general es capaz de crear ese nivel de daño, el desarrollador tendría que asumir cierta responsabilidad. 

En Estados Unidos, no tenemos una ley federal de alcance similar. Si es un modelo de propósito general, si alguien le instruye al modelo que haga algo malo, generalmente el modelo hará lo que se le pida. Probablemente no haya una base legal muy sólida para demandar a los laboratorios en este ejemplo.

Magazine: ¿Es similar a demandar a Google por permitirte encontrar instrucciones sobre cómo fabricar un arma biológica en línea?

Ho: Exactamente. Esto vuelve a algunas de las discusiones sobre moderación de contenido. Por ejemplo, si en Facebook alguien está transmitiendo en vivo una masacre, y eso causa daño, bajo la Sección 230 de la CDA, existe una especie de escudo para una plataforma que no crea ni publica activamente ese material. En realidad, son los usuarios independientes quienes lo suben. Creo que la analogía que acaba de dar es perfecta: ¿Es Google responsable porque usted encuentra algo en un sitio web que habla sobre cómo fabricar una bomba?

Magazine: Esto es un tema de debate, pero mi opinión personal es que no hemos alcanzado una verdadera inteligencia artificial general. La IA no tiene sus propias motivaciones y no es similar a la inteligencia humana en este momento. Pero supongamos que llegamos a la AGI. ¿Cree que entonces necesitaríamos leyes que hicieran a la propia AGI legalmente responsable de sus acciones?

Ho: No lo creo. Blockchain no es AGI, pero puede autoejecutarse. Hubo una cuestión sobre si un contrato inteligente podría ser responsable. En términos generales, creo que la respuesta actualmente es no. No creo que deban ser responsables porque el objetivo de las leyes es brindar protección a la sociedad y ofrecer medios de incentivos negativos para hacer cosas malas que perjudiquen a la sociedad.

Este es un tema un poco más filosófico, pero si hiciéramos de una AGI una entidad legal independiente, ¿cuál sería el remedio si alguien resultara perjudicado? No habría ninguno porque no tiene dinero. Realmente no es una persona.

Magazine: ¿Podría apagarla? Ya hemos visto que los LLM intentan evitar ser apagados. 

Ho: Tal vez, pero no resuelve el problema del daño. Digamos que el robot ahora ha desarrollado el miedo a la muerte, como ser apagado. En mi opinión, si alguien se suicida a causa de la AGI, y esto ya está sucediendo, y ni siquiera estamos cerca de la AGI todavía, pero alguien se enamora y toma algunas acciones, ¿cuál sería el recurso para la familia en duelo si esta persona se daña a sí misma? Nada, en mi opinión, si no hay alguien con autoridad legal real, como una empresa o una persona que realmente pueda ser responsabilizada. Los robots —al menos por ahora— no tienen sentimientos, no tienen miedos. Ese es el factor distintivo.

Magazine: La razón crítica por la que nunca debes pedirle consejo legal a ChatGPT