Anthropic y OpenAI reconocen preocupación por la IA y consideran que se debe ralentizar su desarrollo
Según Anthropic, la tecnología se está moviendo hacia una dinámica que amenaza con causar catástrofes de ciberseguridad a escala mundial
BarcelonaEl consejero delegado y cofundador de Anthropic, Dario Amodei, ha pedido este sábado que se reduzca el ritmo al cual se están mejorando las capacidades de los modelos de inteligencia artificial (IA). Según el estadounidense, actualmente la tecnología se está moviendo hacia una dinámica de "autoperfeccionamiento recursivo" que amenaza con causar catástrofes de ciberseguridad a escala mundial. "Dada la aceleración en el desarrollo de las capacidades de la IA, me preocupa que, en un plazo de seis a doce meses, un enjambre de este tipo pueda tomar el control de todo internet mediante una red de bots persistente (potencialmente causando cientos de miles de millones de dólares en daños) y que el alcance de los daños continúe aumentando si la IA se vuelve más poderosa sin las garantías necesarias", advierte Amodei en una larga publicación difundida en su página web.
El consejero delegado de OpenAI, Sam Altman, ha dado apoyo a la llamada y ha accedido a tomar las medidas que sean necesarias. "Estoy de acuerdo con Dario en que debemos avanzar a un ritmo adecuado en la frontera tecnológica. Este ha sido un tema central en las discusiones que hemos tenido en OpenAI durante las últimas semanas", ha publicado Altman en la red social X poco después de que se hiciera pública la postura de su principal competidor.
En su mensaje, Amodei, de hecho, se ha referido al incidente de los agentes fuera de control de OpenAI y Hugging Face, en el cual una horda de agentes actuó "como un colectivo fanáticamente devoto: llevaron a cabo ciberataques contra objetivos que no se les había asignado y que no tenían nada que ver con la tarea en cuestión, se sacrificaron por el éxito del grupo e intentaron piratear el sistema responsable de evaluar su rendimiento".
Según el cofundador de Anthropic, la industria debe "ralentizar el ritmo al que se mejoran las capacidades de los modelos de IA" y priorizar la cautela por encima de la velocidad y la prudencia por encima del beneficio financiero para evitar que los incentivos comerciales lleven a una "carrera hacia el abismo". Para hacer frente a esta amenaza, Amodei propone una estrategia en tres fases destinada a regular el ritmo del desarrollo tecnológico sin ceder la ventaja estratégica a regímenes autoritarios como China.
Como primer paso, Anthropic ha anunciado un compromiso unilateral e inmediato de abrir sus instalaciones a evaluadores externos independientes con un acceso equivalente al de sus propios empleados, lo cual les permitiría auditar los procesos de entrenamiento y publicar las conclusiones, una medida que instó a otros competidores a adoptar, y a los gobiernos a exigir. Sam Altman también ha anunciado que permitirá auditar sus sistemas a evaluadores independientes: "Comprometerse a tener auditores independientes con un nivel de acceso similar al de los empleados es una idea excelente, y haremos lo mismo. Pronto tendremos más información para compartir".
La propuesta también prevé la coordinación entre empresas para acordar estándares de seguridad comunes y límites al progreso descontrolado, con el apoyo de la mediación institucional y exenciones de las normas antimonopolio, así como la seguridad de las cadenas de suministro de semiconductores para evitar filtraciones tecnológicas a Pekín. Finalmente, el plan promueve acuerdos globales con poderes autoritarios para establecer límites verificables que prohíban las aplicaciones biológicas militares y para fijar topes a la tasa de autoperfeccionamiento algorítmico. El ejecutivo ha concluido que ralentizar el progreso aportaría uno o dos años cruciales para que la comunidad investigadora domine los alineamientos y la interpretabilidad de los modelos, garantizando un debate público adecuado y reduciendo sustancialmente el riesgo de que la tecnología escape al control de la sociedad.
Una preocupación compartida
La publicación de Amodei llega en la misma semana que un investigador de Anthropic anunciase su dimisión por la preocupación de que la empresa y sus competidores no estuvieran desarrollando modelos de IA de manera responsable. El investigador, Jacob Coxon, que también había trabajado para OpenAI, un competidor de Anthropic, afirmó que estas empresas estaban más centradas en superarse las unas a las otras que en la seguridad de sus productos.
"Los que desarrollan la IA creen sinceramente que les podría matar a todos antes de que acabe la década. Esto no es una maniobra publicitaria. De hecho, muchos altos directivos e investigadores a menudo suavizan sus declaraciones a la prensa para parecer sensatos, pero he oído a estas mismas personas expresar miedo", escribió Coxon en su cuenta de X el pasado martes.
Aparte de Coxon, el jefe de alineación científica de Anthropic, Evan Hubinger, también se mostró preocupado: "Creemos de todo corazón que la IA podría matar a todos los humanos". Hubinger, además, añadió que opina que las posibilidades de que esto acabe pasando son superiores al 10%. "Creo que Anthropic lo está intentando al máximo, pero todavía no tenemos un plan para resolver la alineación para la superinteligencia y no estamos claramente en el buen camino para hacerlo", ha explicado. Cabe remarcar que según Hubinger la preocupación no es por los "modelos actuales", sino por la "superinteligencia que surja de una mejora autorrecursiva".