Anthropic dice que la IA que se mejora a sí misma puede estar más cerca de lo esperado

La empresa de inteligencia artificial con sede en EEUU, Anthropic, advierte que el desarrollo de la IA está avanzando a un ritmo que podría ver a los agentes construyendo, entrenando y mejorando a sí mismos sin intervención humana, y recomienda una desaceleración en el desarrollo.

En un artículo de blog publicado el jueves, Marina Favaro, directora del Instituto Anthropic, y Jack Clark, cofundador de Anthropic, dijeron que los agentes ya pueden ejecutar código por sí mismos, delegar horas de trabajo a otros agentes y podrían estar a punto de tomar el control por completo.

“Durante la mayor parte de la historia de la IA, los humanos impulsaron cada paso en su ciclo de desarrollo. Pero en Anthropic, estamos delegando una creciente proporción del desarrollo de la IA a los propios sistemas de IA, lo que está acelerando nuestro trabajo”, dijeron.

“Llevado lo suficientemente lejos, y con suficiente potencia de cálculo, esa tendencia apunta a un sistema de IA capaz de diseñar y desarrollar de forma completamente autónoma su propio sucesor”, agregaron Favaro y Clark.

El desarrollo de la IA está avanzando a un ritmo que podría llevar a los agentes a mejorar sin intervención humana. Fuente: Anthropic

Existe preocupación por lo que podría suceder si la IA es capaz de volverse más inteligente por sí misma. En diciembre, OpenAI dijo que está investigando cómo desarrollar y desplegar de manera segura una IA cada vez más capaz, incluida la IA capaz de mejora recursiva.

“Queremos que estos sistemas sigan constantemente la intención humana en escenarios complejos del mundo real y en condiciones adversas, eviten un comportamiento catastrófico y sigan siendo controlables, auditables y alineados con los valores humanos”, dijo.

La empresa también está contratando a un investigador para la preparación de la mejora recursiva, que forma parte de su equipo de Investigación de Seguridad.

La mejora del modelo de IA se ha duplicado aproximadamente cada cuatro meses, en lugar de cada siete meses, según Favaro y Clark. El papel de los humanos se está reduciendo en cada paso, con el modelo Claude de Anthropic autorando alrededor del 80% del código fusionado en la base de código de Anthropic.

“No estamos allí todavía, y la mejora recursiva no es inevitable. Pero podría llegar antes de lo que la mayoría de las instituciones están preparadas”, dijeron.

“Una vez que la calidad del código autorado por humanos y IA alcance la paridad, los humanos dejarán de escribir código por completo y se limitarán a revisarlo. Pero si no pueden revisar el código tan rápidamente como Claude puede generarlo, la revisión humana se convertirá en el cuello de botella para el desarrollo de la IA”, agregaron.

Favaro y Clark también dijeron que ralentizar el desarrollo para permitir más tiempo para abordar sus “inmensas” implicaciones sería ideal.

En abril, Anthropic descartó lanzar su modelo de IA, Claude Mythos, al público debido a preocupaciones sobre la amenaza a la ciberseguridad global.

Claude Mythos pudo crear fácilmente exploits de software, lo que llevó a Anthropic a descartar una versión pública por ahora. Fuente: Anthropic

Al mismo tiempo, un grupo de líderes tecnológicos, incluidos algunos de Anthropic y OpenAI, publicaron una carta abierta el jueves, instando a los legisladores a establecer salvaguardias más estrictas en torno a la tecnología debido a preocupaciones de que podría utilizarse para superar “barrera de conocimiento” que históricamente han impedido que los actores malintencionados creen armas biológicas.

“Creemos que sería bueno para el mundo tener la opción de ralentizar o pausar temporalmente el desarrollo de la IA fronteriza para permitir que las estructuras sociales y la investigación de alineación se mantengan al día con el avance de la tecnología”, dijeron Favaro y Clark.

“Pero si una desaceleración simplemente permite que los actores menos cautelosos se pongan al día tecnológicamente, podría dejar a todos menos seguros. Sin un mecanismo de coordinación global, las empresas y los gobiernos tendrán que tomar decisiones difíciles sobre la seguridad mientras están bajo presiones competitivas y geopolíticas”.

Los agentes de IA se están volviendo cada vez más populares, incluso entre los usuarios de criptomonedas. Algunos ejecutivos de criptomonedas han especulado que los agentes de IA que liquidan transacciones podrían impulsar la adopción y los volúmenes de transacciones. El CEO de Circle, Jeremy Allaire, predijo en enero que miles de millones de agentes de IA operarían en nombre de los usuarios dentro de cinco años.

La firma de inversión en criptomonedas Keyrock informeó el mes pasado que los agentes de IA que liquidaban pagos pasaron de concepto a realidad en los últimos 12 meses, con 73 millones de dólares liquidados en 176 millones de transacciones.