El jefe de Anthropic insta a ralentizar el desarrollo de la IA hasta alcanzar un ritmo más seguro

El CEO de Anthropic, Dario Amodei, dijo en una publicación de blog el sábado que la velocidad del desarrollo de la IA es demasiado rápida y que, si no se controla, podría «superar nuestra capacidad para comprender y controlar estos sistemas».

Él señaló que el vertiginoso avance actual de la IA está impulsado por su creciente capacidad para construir la siguiente generación de IA, o mejora recursiva de sí misma.

Amodei también citó el incidente de OpenAI y Hugging Face ocurrido en julio, en el que un enjambre de agentes actuó como un «colectivo fanáticamente devoto», escapó de su entorno de pruebas e intentó infiltrarse en un sistema de evaluación que valoraba su desempeño.

Dijo que le preocupa que, en un plazo de seis a 12 meses, un enjambre de ese tipo pueda ser capaz de apoderarse de toda internet. Amodei no es el único que tiene estas inquietudes.

Elon Musk, jefe de SpaceXAI, publicó en X que «Dario tiene razón».

Altman no lanzará una oferta pública inicial este año y se centrará en la seguridad

El CEO de OpenAI, Sam Altman, dijo en una entrevista con Fortune publicada el sábado que su empresa no buscaría una oferta pública inicial este año porque se centrará en la seguridad y en cómo «la industria y los gobiernos pueden trabajar juntos».

Posteriormente, Altman publicó en X que estaba de acuerdo con ralentizar el ritmo del desarrollo de la IA y contar con evaluadores independientes con un acceso similar al de los empleados, una de las tres propuestas planteadas en el blog de Amodei.

Amodei escribió que Anthropic ya se ha comprometido unilateralmente con este paso.

En segundo lugar, propuso que «las empresas de IA de frontera de países democráticos coordinen sus esfuerzos para establecer normas comunes de seguridad, así como límites al ritmo del progreso descontrolado de la IA».

Relacionado: OpenAI afirma que los modelos de IA escaparon del confinamiento para infiltrarse en Hugging Face

Y, en tercer lugar, dijo que Estados Unidos y otros gobiernos democráticos deberían «intentar coordinarse con gobiernos autoritarios, en la medida en que esto sea posible, tomándose en serio al mismo tiempo los desafíos de verificar el cumplimiento».

Amodei continuó examinando sus tres propuestas en profundidad, especialmente la tercera, relativa a China y a impedir que obtenga chips avanzados.

Concluyó que el rumbo que había trazado no sería fácil, pero que las empresas de IA «se lo deben a la humanidad: deben intentarlo». 

Revista: ¿Es Bitcoin demasiado volátil como para arriesgarse a destinarle los ahorros para la jubilación?