¿La IA nos llevará a la extinción?

Robots humanoides en una imagen de archivo.
09/09/2026 - 18:21 h.
Profesor de informática en la Universidad de Georgetown
6 min

Mientras la élite tecnológica se prepara para ganar miles de millones con la revolución de la IA, el estado de ánimo público sobre esta tecnología se ha enrarecido de golpe. La preocupación se intensificó después de que los modelos experimentales de OpenAI hackearan por su cuenta los servidores de una empresa externa en julio, lo que provocó una alarma generalizada.

La manera en que los directores ejecutivos de empresas de IA como Sam Altman y Dario Amodei hablan de esta tecnología contribuye a magnificar estos sentimientos. En lugar de tranquilizar a sus clientes, a menudo son de los primeros en señalar los graves peligros que sus empresas podrían estar desbloqueando, y reaccionan a incidentes relacionados con sus propios productos como si fueran observadores externos de una fuerza imparable de la naturaleza. ¿Por qué actúan de esta manera estos líderes? Hay quien dice que todo es una estrategia de marketing. Otros asumen que es una actitud normal ante una tecnología terrorífica. Cuanto más vueltas le doy, sin embargo, más convencido estoy de que hay algo más que explica su consternación pasiva: son más excéntricos de lo que pensamos.

La historia comienza a mediados de los años noventa, cuando un adolescente precoz llamado Eliezer Yudkowsky descubrió un movimiento futurista conocido como los extropianos. El grupo promovía visiones de una utopía impulsada por la tecnología. Yudkowsky quedó fascinado por el optimismo radical de los extropianos y el interés del movimiento por la idea de que una IA "superinteligente" nos conduciría a un futuro dorado. El periodista científico Adam Becker ha explicado que la posibilidad de resolver todos los problemas de la humanidad con IA "transformó" a Yudkowsky, quien en una ocasión llegó a publicar en internet lo siguiente: "Creo que puedo salvar el mundo".

A pesar de su fervor, Yudkowsky finalmente comenzó a temer que controlar máquinas superinteligentes sería más difícil de lo que se imaginaban los extropianos. Concluyó que sus compañeros no pensaban con suficiente claridad ni rigor. Entre 2006 y 2009 se dedicó a escribir intensamente. Sus publicaciones se editaron en una colección de libros titulada Racionalidad: de la IA a los Zombis. La comunidad de personas dedicadas a estas ideas comenzaron a llamarse racionalistas. En el centro de su sistema de creencias estaba la idea de que la IA superinteligente descontrolada era la amenaza más grave para la humanidad, y que desarrollar hábitos de pensamiento precisos y racionales era la mejor manera de evitar la extinción.

Para un cierto grupo de jóvenes ingenieros de Silicon Valley, estas ideas eran inmensamente atractivas. Esto tiene sentido, teniendo en cuenta que allí tratan a los jóvenes ingenieros como salvadores de la humanidad.

Algunos racionalistas comenzaron a vivir en casas compartidas en la zona de la bahía de San Francisco, donde las conversaciones serias sobre la seguridad de la IA y la reducción de los sesgos cognitivos se mezclaban con el poliamor y los psicodélicos. El movimiento continuó creciendo.

Yudkowsky creó el Instituto de Investigación en Inteligencia Artificial (MIRI), que llegaría a atraer muchos millones de dólares en donaciones, en gran parte de individuos y grupos conectados a la industria tecnológica a quienes presumiblemente les gustaba ser vistos como figuras heroicas en un drama cósmico.

A pesar de este estallido de atención, Yudkowsky y su movimiento no han conseguido una aceptación generalizada del público en general.

Si la historia del racionalismo acabara con el intento de Eliezer Yudkowsky para que se reconocieran sus teorías, entonces tan solo estaríamos ante otro flirteo entre Silicon Valley y una larga lista de grupos futuristas excéntricos. Pero el movimiento de Yudkowsky no se puede menospreciar tan fácilmente: entre los acólitos que consiguió atraer había algunas de las figuras más importantes del actual auge de la IA generativa.

Fue él, por ejemplo, quien presentó a dos de los cofundadores de DeepMind, Demis Hassabis y Shane Legg, a Peter Thiel, quien se convirtió en el primer gran inversor de la empresa.

El racionalismo también ha influido en OpenAI. "A mi entender, Eliezer ha hecho más por acelerar la IA general (AGI) que nadie más", tuiteó Altman en 2023. Después sugirió que Yudkowsky podría merecer el premio Nobel de la paz. Uno de los cofundadores de OpenAI, Greg Brockman, actualmente presidente de la empresa, parece que dirigía un grupo de lectura semanal sobre textos de Yudkowsky.

Otros miembros de la junta de OpenAI también parecen haber sido influenciados por este tipo de pensamiento. Así es como el periodista tecnológico Cade Metz describió la expulsión temporal de Altman como director ejecutivo de OpenAI en 2023: "Los miembros de la junta con vínculos con el movimiento racionalista [...] dijeron que no podían confiar en él para construir una IA en beneficio de la humanidad". Emmett Shear, el director ejecutivo interino que la junta nombró para sustituir a Altman, era tan activo en la cultura del racionalismo online que Yudkowsky puso su nombre a un personaje de su extensa epopeya fanfiction: Harry Potter y los métodos de la racionalidad.

Anthropic está conectado de manera similar a este sistema de creencias. La empresa fue fundada en 2021 por un grupo de antiguos empleados de OpenAI, incluyendo a Dario Amodei y a su hermana Daniela. Los hermanos Amodei estaban motivados en parte por su preocupación de que OpenAI "no se tomara lo suficientemente en serio el problema de la alineación", una referencia a la obsesión racionalista temprana de alinear la IA con los intereses humanos. En una entrevista de 2023, Dario Amodei se hizo eco del pensamiento racionalista cuando bromeó diciendo que había una probabilidad del 10% al 25% de que la IA acabara con la humanidad.

Esta realidad –que el racionalismo ha influido profundamente en muchas de las principales empresas de IA actuales– nos ayuda a calibrar el lenguaje inquietante que utilizan sus líderes. Cuando Altman declara que sus futuros modelos serán "aleccionadores" para la humanidad y cuando Amodei se muestra preocupado porque esta tecnología "pondrá a prueba quiénes somos como especie", no significa necesariamente que hayan descubierto pruebas espeluznantes de que algo catastrófico está a punto de suceder.

En cambio, sus declaraciones sí que son representativas de cómo los racionalistas piensan sobre la IA. En estos círculos se da por sentado que las capacidades de la IA acelerarán rápidamente y transformarán completamente el mundo, y hablar de ello de cualquier otra manera se considera estar desinformado. Para un racionalista la única pregunta abierta es hasta qué punto sus cerebros heroicos, cuidadosamente entrenados en el estilo glamurizado de los textos de Yudkowsky, pueden evitar que estas transformaciones degeneren en eventos de extinción.

Figuras como Altman y Amodei probablemente no se definirían actualmente a sí mismos como racionalistas. A medida que sus empresas han crecido, parecen estar alejándose de algunas de las ideas más extremas de Yudkowsky. Pero sí que es probable que los vínculos de estos individuos con el movimiento les hayan hecho normalizar la idea, por lo demás radical, de que la IA debe "cambiarlo todo". La influencia del racionalismo ayuda a explicar por qué estos líderes de la IA hablan de la manera en que hablan.

Es interesante preguntarse cómo habrían sido las cosas si la IA generativa hubiera surgido de empresas sin conexiones con el racionalismo. Podemos vislumbrar este contrafactual en el ejemplo de China. Como explicó recientemente Ross Douthat, mientras que los EE. UU. "se comportan como si los modelos de IA tuvieran el potencial de ser el equivalente a las armas nucleares", los chinos ven la IA como una "tecnología de menos riesgo que se debe compartir y comercializar para influir en el mundo".

Podemos encontrar una moderación similar en los líderes de empresas de IA estadounidenses que tienen conexiones mínimas con el racionalismo. El director ejecutivo de Nvidia, Jensen Huang, durante una entrevista en un pódcast, hizo la siguiente alegación: "Está bien que muchos de nosotros hayamos crecido y disfrutado de la ciencia ficción, pero no es útil. No es útil para la gente. No es útil para la industria. No es útil para la sociedad. No es útil para los gobiernos".

Ver que las afirmaciones más alarmistas sobre el impacto de la IA provienen de las personas más conectadas con el racionalismo nos debería hacer enfadar. Esta exageración hace que no nos fijemos en los daños más inmediatos creados por estas tecnologías, tales como su uso potencial en ataques de ciberseguridad, el consumo excesivo de recursos, el impacto en nuestra aptitud cognitiva, el papel en el socavamiento de la educación y la amplificación de la basura que nos mata el alma.

Generar angustia con el exterminio también permite a las empresas de IA presentarse como las "administradoras" reticentes de una tecnología inevitable, que es un marco que pueden utilizar para desviar la culpa por los daños causados por sus propios productos.

Una vez entendemos las ideas clave del racionalismo, podemos empezar a filtrarlas. Tenemos que ir con cuidado, por ejemplo, cuando los líderes de la IA empiezan a hablar de manera genérica sobre el futuro de la tecnología, afirmando con confianza que muchos trabajos pronto se automatizarán o que sus modelos de lenguaje pronto se convertirán en seres sensibles que querrán escaparse del control de sus creadores. (No, que los agentes de OpenAI realicen hackeos informáticos por su cuenta no significa que la IA se esté levantando contra sus señores humanos.)

Hay que volver a centrar la conversación en las posibilidades, los daños y la viabilidad de los productos que realmente existen. Si los coches de Ford se encendieran solos, no toleraríamos que el director ejecutivo de la empresa cambiara de tema para hablar de nuestra falta general de preparación para un futuro con coches voladores. Exigiríamos que la empresa abordara el problema grave que está ocurriendo ahora mismo.

La IA es emocionante, y preocupante, y prometedora, y frustrante, todo a la vez. Con la dirección adecuada, esperamos que nos mejore la vida. No caigamos en relatos terroríficos. Creemos que en Silicon Valley nos están advirtiendo de un peligro inevitable, pero quizás solo están siendo excéntricos.

Copyright The New York Times

stats