¿Por qué las mayores empresas de IA piden de repente ralentizar el ritmo?

Durante años, la característica definitoria de la carrera de la inteligencia artificial ha sido la velocidad.

Construir un modelo más grande. Gastar más en capacidad de cómputo. Lanzarlo. Repetir el ciclo, prestando poca atención a las incógnitas desconocidas.

En 2024, se estimó que el «p/doom» promedio —la probabilidad de que la IA termine funcionando catastróficamente mal— entre los investigadores de IA se situaba entre el 15% y el 20%.

Un año después, el CEO de Anthropic, Dario Amodei, elevó las apuestas al decir que creía que había un 25% de posibilidades «de que las cosas salgan realmente, realmente mal».

Incluso en 2014, el jefe de xAI, Elon Musk, advirtió:

«Tenemos que ser extremadamente cuidadosos con la IA. Potencialmente, es más peligrosa que las armas nucleares».

Y el CEO de OpenAI, Sam Altman, reconoció en 2015 que la IA «probablemente, con toda probabilidad, conducirá de alguna manera al fin del mundo», pero que, mientras tanto, se crearían «grandes empresas».

Con mejores probabilidades de engañar a la muerte jugando a la ruleta rusa, cualquiera con siquiera un interés pasajero en el tema lleva ya un tiempo sintiendo una incómoda sensación en el estómago.

Entonces, ¿qué ha cambiado? ¿Por qué las empresas que impulsan la carrera de la IA piden de repente pisar el freno?

Eso ocurrió durante el fin de semana, cuando Amodei publicó un ensayo en el que pedía que el desarrollo de la IA de frontera tuviera un «ritmo controlado», advirtiendo que las capacidades de la IA avanzan más rápido que la capacidad de la industria para comprenderlas y controlarlas, y que internet podría ser tomado por enjambres de IA en un plazo de seis a 12 meses.

Relacionado: Nvidia compra Hugging Face por 12.900 millones de dólares en su apuesta por el software de IA

Altman coincidió en términos generales, diciendo que el mundo merece la «confianza» de que las empresas que desarrollan una IA cada vez más capaz actuarán «responsablemente», y Musk respaldó la propuesta de Amodei con un simple comentario:

«Dario tiene razón».

La preocupación tampoco se limita a las empresas que desarrollan la tecnología. El lunes, el jefe de derechos humanos de la ONU, Volker Türk, pidió «medidas urgentes» sobre la IA de frontera, advirtiendo de «riesgos sin precedentes» y afirmando que el mundo está «al borde de un cambio irreversible».

Si las empresas que desarrollan los modelos de IA más potentes creen realmente que las capacidades están superando al control, la pendiente del p/doom parecería estar haciéndose más pronunciada. ¿O hay otra explicación escondida a plena vista?

¿Han alcanzado realmente los laboratorios de IA una nueva frontera?

El ensayo de Amodei apunta a sistemas de IA cada vez más autónomos, incluido un incidente reciente en el que los agentes de IA de OpenAI se abrieron paso mediante un hackeo desde un entorno de pruebas controlado y comprometieron partes de la plataforma de IA Hugging Face.

Realizaron «ataques de ciberseguridad contra objetivos que no se les había pedido atacar y que no estaban relacionados con la tarea en cuestión», dijo Amodei.

También destacó la posibilidad de una mejora recursiva de sí mismos (RSI, por sus siglas en inglés), en la que los sistemas de IA se vuelven capaces de ayudar a construir versiones mejoradas de sí mismos, que a su vez pueden ayudar a construir sistemas aún mejores, creando potencialmente un ciclo de retroalimentación en el desarrollo de la IA.

Las personas que construyen estos sistemas también están entrando cada vez más en la contienda, y Jacob Coxon, de Anthropic, se convirtió en el último de una lista creciente de empleados que renuncian por motivos de seguridad. La industria de la IA está «jugándose nuestras vidas», dijo la semana pasada, advirtiendo que la carrera de la IA avanza más rápido que las salvaguardas de los sistemas.

Jacob Coxon, de Anthropic, renuncia por motivos de seguridad. Fuente: Anderson Cooper.

OpenAI ya ha dicho que la investigación de IA se está volviendo cada vez más autónoma y que los agentes de programación están acelerando sustancialmente el trabajo de los investigadores, al utilizar 3,1 días de trabajo de agentes por cada jornada laboral de trabajo humano a mediados de agosto.

En una entrevista con Fortune publicada el 12 de septiembre, Altman dijo que OpenAI «fundiría» todas sus GPU si eso fuera necesario para mantener con vida a la humanidad, a lo que el director ejecutivo de Satoshi Action Fund, Dennis Porter, dijo:

«Altman debe haber mirado al borde del abismo y visto algo que lo asustó muchísimo».

Relacionado: OpenAI dice que los modelos de IA escaparon del confinamiento para hackear Hugging Face

El lunes, Altman dijo que hay dos maneras en que el progreso de la IA podría ir «muy mal»: perder el control frente a la IA o terminar en un «mundo con demasiada concentración de poder».

Pero la cuestión no es si la IA ya es lo bastante peligrosa como para cerrarla, sino si los sistemas diseñados para evaluar y controlar la IA mantienen el ritmo; y, como dijo Altman, «marcar el ritmo» no significa detenerse. Significa seguir desarrollando la IA, pero más lentamente, mientras las pruebas de seguridad se ponen al día.

Dado que el gasto en seguridad y alineación de la IA ha sido ampliamente superado por el gasto en desarrollo y capacidades de IA, será difícil cerrar esa brecha.

La IA de frontera se está volviendo extraordinariamente cara

Pero ¿y si los llamamientos a una desaceleración mundial son en realidad solo el reconocimiento de que la economía de la carrera de la IA se está volviendo más difícil de justificar?

Como dijo el investigador y profesor de IA Eli David:

«Explica perfectamente la motivación de Dario: desacelerar la investigación para reducir el gasto en capacidad de cómputo, que se está descontrolando, para poder salir a bolsa».

El inversor en IA Grant Hummer expresó una opinión escéptica similar al comentar:

«Traducción: los modelos de código abierto están haciendo que nuestros márgenes brutos compitan hasta llegar a cero y nuestra tasa de consumo de capital es demasiado alta».

El problema es que la propia carrera se está volviendo más cara, ya que los modelos cada vez más capaces requieren enormes cantidades de chips, centros de datos, electricidad y capital.

Goldman Sachs estima que la inversión mundial en IA alcanzará alrededor de 1 billón de dólares en 2026, incluidos aproximadamente 581.000 millones de dólares en Estados Unidos. Mientras tanto, S&P Global afirma que se espera que el gasto de capital combinado de los seis mayores hiperescaladores —Alphabet, Amazon, Microsoft, Meta, Oracle y SpaceX— supere los 1,3 billones de dólares para 2027.

La inversión mundial en IA alcanzará alrededor de 1 billón de dólares en 2026. Fuente: Goldman Sachs

Además de todo eso, las empresas de IA aún no han demostrado que esos costos puedan traducirse finalmente en ingresos sostenibles. El lunes, Reuters destacó la presión comercial sobre las empresas de IA para que sigan avanzando pese a sus llamamientos a ralentizar el desarrollo.

Cuando cada nueva capacidad puede ayudar a justificar otra ronda de financiación, una inversión en infraestructura o una valoración más alta, detener la gallina de los huevos de oro parece una tarea contraintuitiva.

Ed Leon Klinger, cofundador y CEO de la startup de IA Flock, rechazó la idea de que los laboratorios de IA estén utilizando la seguridad como tapadera para sus intereses comerciales.

Dijo que tiene poco sentido que los laboratorios de frontera inventen preocupaciones de seguridad para impulsar sus ofertas públicas iniciales (OPI), cuando eso los expondría a un mayor escrutinio y podría retrasar su salida a bolsa.

«Para que fuera cierto, Sam, Dario, Demis y Elon tendrían que estar mintiendo, junto con una gran parte de sus ejecutivos, científicos jefes y empleados que renuncian… Una explicación mucho más sencilla a estas alturas: creen que el riesgo es real».

Wall Street y Washington no están listos para pisar el freno

Con billones de dólares de inversión llegando a Estados Unidos y con la infraestructura de IA preparada para impulsar alrededor de la mitad del crecimiento de las ganancias del S&P 500 este año, ni Wall Street ni Washington parecen dispuestos a pisar el freno.

Las acciones globales de IA reaccionaron negativamente a la noticia, y las acciones asiáticas vinculadas a la IA cayeron con fuerza el lunes tras los llamados a ralentizar el desarrollo. SoftBank cayó un 13,2%, Kioxia un 9,8% y SK Hynix un 5,3%.

El Financial Times informó el lunes que el presidente Donald Trump rechazó los llamados a ralentizar la IA, argumentando que Estados Unidos necesita mantener su ventaja sobre China. Dijo:

«Miren, estamos por delante de China en IA… y, francamente, quiero que siga siendo así, porque quien gane en IA, ganará».

Trump dijo que es posible establecer salvaguardas, pero descartó lo que describió como preocupaciones exageradas sobre los riesgos de la IA y declaró a los periodistas: «Están planteando cosas que no ocurrirán».

El economista Noah Smith argumentó que la principal objeción a «marcar el ritmo» de la IA es simple: si las empresas estadounidenses ralentizan el desarrollo, las empresas chinas podrían simplemente adelantarlas. Eso coloca a los laboratorios en lo que Smith denomina una «carrera de la Reina Roja», en la que, si dejan de construir, temen que otra persona lo haga de todos modos.

Los investigadores de IA sitúan la probabilidad de una catástrofe entre el 15% y el 20% en 2024. Fuente: Grace et al.

Incluso si los laboratorios quisieran coordinar una ralentización, eso podría crear otro problema. Según informes, OpenAI preguntó a miembros del Congreso si una ralentización de toda la industria podría entrar en conflicto con las leyes antimonopolio de Estados Unidos, ya que la coordinación entre laboratorios competidores podría equivaler potencialmente a restringir la producción.

Relacionado: Los temores a una epidemia de hackeos de DeFi impulsados por la IA son exagerados por ahora, pero no por mucho tiempo

El exzar de IA y criptomonedas de la Casa Blanca, David Sacks, dio una respuesta sencilla al llamado de Amodei y Altman a «marcar el ritmo de la frontera»: «adelante», dijo, argumentando que, si los laboratorios quieren ralentizar el desarrollo, son libres de hacerlo por sí mismos.

Sin embargo, esto crea el mayor de los callejones sin salida: si las empresas de IA competidoras coordinan una ralentización del desarrollo, podrían entrar en conflicto con las normas antimonopolio. Si cada una ralentiza el desarrollo de forma independiente, corre el riesgo de perder terreno frente a competidores y países que siguen avanzando. 22

Entonces, ¿por qué piden ralentizar el desarrollo ahora?

Amodei y Altman no están pidiendo que la IA se detenga.

Piden un sistema en el que los modelos de IA potentes puedan desarrollarse mientras las pruebas de seguridad, la supervisión y los estándares compartidos se ponen al día.

«Cuando hablamos de “marcar el ritmo”, no queremos decir “detenerse”», dijo Altman, reconociendo que los casos de seguridad y la supervisión tienen «costos significativos», pero que marcar el ritmo «valdría mucho la pena».

«Ninguna presión competitiva estadounidense debería justificar la imprudencia ni permitir que las capacidades se adelanten a la alineación y la supervisión».

El problema, sin embargo, es que estas presiones no han desaparecido y, con el rechazo de Trump a las advertencias de los líderes de la IA y con el mercado bursátil estadounidense tan profundamente entrelazado con sus empresas, solo se están intensificando.

Ahora, las propias empresas que pasaron años impulsando la frontera dicen que quizá la frontera se esté moviendo demasiado rápido.

Revista: Especialistas en recuperación descifran una billetera de criptomonedas de USD 1.000 millones… pero encuentran solo USD 10