Anthropic elige a Accenture como evaluador integrado para ayudar con su propuesta de ralentizar la IA

Anthropic dijo que ha elegido a Accenture como su primer evaluador integrado para ayudar a ralentizar el ritmo del desarrollo de la IA, tal como propuso la semana pasada su CEO, Dario Amodei.

Amodei publicó el 12 de septiembre una propuesta de tres pasos para ralentizar el desarrollo de la IA y permitir la implementación de medidas de seguridad, ante las advertencias sobre un posible daño catastrófico tras un desarrollo rápido y sin control.

El CEO de OpenAI, Sam Altman, y el CEO de SpaceX, Elon Musk, respondieron positivamente a la propuesta de Amodei, aunque el CEO de Nvidia, Jensen Huang, no lo hizo y argumentó que dicha regulación no era necesaria.

Aun así, Amodei escribió en su propuesta que «la IA ha estado avanzando drásticamente más rápido, impulsada principalmente por la creciente capacidad de la IA para construir la siguiente generación de IA. Esta dinámica se denomina automejora recursiva», y que «si no se controla, podría superar nuestra capacidad para comprender y controlar estos sistemas».

Relacionado: El jefe de Anthropic insta a ralentizar el desarrollo de la IA hasta un ritmo más seguro

El primer paso de la propuesta de Amodei consiste en contar con evaluadores independientes con un acceso similar al de los empleados, algo con lo que Anthropic ya se había comprometido unilateralmente, escribió Amodei.

Anthropic anunció el viernes una medida para cumplir este compromiso al asociarse con Accenture y su división de IA, Faculty, para «evaluar modelos y someterlos a pruebas de red team, realizar evaluaciones de alineación y probar las salvaguardas de los modelos».

La empresa dijo que los detalles de cómo se llevará a cabo todavía se están definiendo, ya que la evaluación integrada es algo nuevo.

Según el anuncio, Anthropic y Accenture prevén invertir cada una al menos 1.000 millones de dólares en el proyecto durante los próximos cinco años.

Anthropic financiará directamente el trabajo ante la urgencia

Anthropic señaló que tampoco existe un sistema para financiar la evaluación independiente, por lo que la financiación a largo plazo debería proceder de fondos mancomunados o de fuentes gubernamentales; sin embargo, dada la urgencia del trabajo, Anthropic financiará directamente el trabajo de Accenture.

La alianza no es exclusiva, y Anthropic espera anunciar otros evaluadores en las próximas semanas con los que también trabajará.

Faculty, de Accenture, es experta en probar y evaluar modelos para algunos de los principales laboratorios de IA del mundo y en construir sistemas de IA complejos que sean seguros y éticos desde el diseño, dijo la empresa el viernes.

«La evaluación integrada es un área emergente, y esperamos asociarnos con Anthropic para ayudar a acelerar el desarrollo de evaluadores integrados, que consideramos una parte importante del panorama de la seguridad de cara al futuro», dijo Julie Sweet, presidenta del consejo y CEO de Accenture. 

Revista: ¿Por qué las mayores empresas de IA piden de repente que se ralentice el ritmo?