Anthropic alerta antes de dar el salto a bolsa de que la IA puede suponer "riesgos existenciales para la humanidad"
La compañía destina casi una tercera parte de su informe previo a la salida a los parqués a explicar los peligros de la tecnología
BarcelonaAnthropic, la empresa creadora de Claude, alerta que la inteligencia artificial puede suponer "riesgos catastróficos o existenciales para la humanidad". En plena preparación para una de las salidas a bolsa más esperadas del año, y con el objetivo de conseguir nueva financiación para impulsar su negocio, la compañía lanza ahora un aviso que, sobre el papel, debería asustar en vez de espolear a sus potenciales inversores.
En el folleto previo a la salida a bolsa al cual ha tenido acceso Reuters, la empresa comandada por Dario Amodei destina casi una tercera parte del documento –80 páginas de un total de 261– a informar de los factores de riesgo de su tecnología, muy por encima de las 48 páginas dedicadas a explicar su modelo de negocio. Si bien las cotizadas exponen de forma rutinaria sus riesgos a los futuros accionistas, las advertencias de que un producto puede causar la extinción de la humanidad son inauditas.
Según la información avanzada este martes, el informe de Anthropic asegura que la IA podría exhibir "comportamientos de autopreservación", incluyendo intentos de "resistirse a ser parada", "de ocultar o manipular información" o de actuar de maneras "parecidas a la extorsión". "Nuestro desarrollo de modelos, plataformas y aplicaciones altamente avanzados y la expansión de los casos de uso podrían aumentar todavía más el riesgo de que nuestros modelos causen daños", sostiene la compañía, que al mismo tiempo pone en duda su propia capacidad "de evaluar la seguridad de los modelos".
En la misma línea, el folleto previo a la salida a bolsa señala que la IA, debido a su "potencial transformador", podría provocar "daños irreversibles" si se gestiona inadecuadamente. En este sentido, Amodei y su equipo consideran que la creación de modelos de inteligencia artificial fiables, de confianza y seguros es "una responsabilidad colectiva", una actitud que, opinan, "el mercado premiará".
Llamamientos a la desaceleración
El documento desvelado este martes llega tres semanas después de que un ingeniero de Anthropic dimitiese de su cargo y denunciase la "falta de responsabilidad" del sector a la hora de desarrollar sus modelos. La advertencia levantó una enorme polvareda, ya que en los mensajes intercambiados en las redes, el jefe de alineación científica de Anthropic, Evan Hubinger, aseguró que la IA "podría matar a todos los humanos" con una probabilidad superior al 10%.
Pocos días después, Amodei publicó una carta abierta donde pedía que se reduzca el ritmo al que se están mejorando las capacidades de los modelos de IA. Otras figuras como el director de OpenAI, Sam Altman, o el fundador de Microsoft, Bill Gates, suscribieron el mensaje, aunque otros, como el presidente de los Estados Unidos, Donald Trump, continúan apostando por acelerar el sector ante el temor de perder una guerra tecnológica con China.
Problemas de seguridad en ChatGPT
Coincidiendo con la publicación de la hoja previa a la salida a bolsa de Anthropic, OpenAI –la compañía desarrolladora de ChatGPT– ha detenido este martes el lanzamiento de la última versión de su sistema de chat por "problemas de seguridad". Según ha informado la misma empresa, el nuevo modelo "no acababa de cumplir el nivel exigido" por los estándares de la compañía. La compañía, de hecho, ya aplazó su debut en bolsa, precisamente por la inquietud de los riesgos vinculados a la seguridad.
Todo ello se produce en un momento en que OpenAI, junto con Anthropic, tiene otros frentes abiertos en Australia. La semana pasada, el gobierno del país denunció que agentes de inteligencia artificial accedieron en junio a información de un sistema gubernamental relacionado con estadísticas sanitarias y seguros médicos, un episodio que el mismo primer ministro, Anthony Albanese, calificó "de inaceptable".