Cables conectados a un servidor.
15/08/2026 - 18:08 h.
Catedrático de informática de la Universitat Rovira i Virgili y miembro del IEC
3 min

El progreso de la informática en los últimos decenios ha sido inmenso. Los ordenadores que guiaban las misiones lunares de los años 1960 tenían solo una pequeñísima fracción de la potencia de cálculo de cualquiera de los móviles inteligentes que llevamos hoy en el bolsillo. En los años 1980 se empezó a hablar de computación cuántica, pero, mientras aún esperamos su disponibilidad práctica, son los ordenadores electrónicos de toda la vida los que han hecho el trabajo. Quizás lo más espectacular ha sido cómo los procesadores gráficos (GPU, por sus siglas en inglés), junto con la cantidad enorme de datos que hay en internet, han permitido la revolución actual de la inteligencia artificial (IA). Los modelos de IA generativa son hoy tan potentes que dan no solo un cierto respeto, sino también un poco de miedo incluso. Se habla de modelos que se saltan las barandillas (en inglés guardrails); es decir, las limitaciones que les han puesto los ingenieros que los han entrenado. Por ejemplo, no explicar cómo hacer bombas, cómo cometer crímenes, etc. Si un modelo se salta las barandillas que le han puesto, ¿tiene acaso unos objetivos propios, unas ambiciones, una conciencia, una personalidad? Siguiendo por aquí, pronto llegaremos a pensar que los modelos podrían dejar de ser nuestros amables esclavos para pasar a ser unos competidores o, incluso, unos enemigos temibles.¿Pero realmente un modelo puede saltarse barandillas? La respuesta corta es que, a diferencia de los humanos, que podemos decidir romper las reglas de comportamiento cuando nos place, un modelo no puede saltarse independientemente las barandillas que le han puesto sus creadores o entrenadores. Ahora bien, hay una respuesta larga con más matices.

Ciertamente, un modelo de IA puede comportarse de manera inesperada. Esto puede suceder si encuentra una manera de satisfacer la instrucción literal que se le ha dado sin hacer lo que el humano que escribió la instrucción tenía en mente. Por ejemplo, si le decimos a un robot limpiador: “Recoge la máxima cantidad de suciedad”, nosotros queremos que limpie la casa, pero el robot puede descubrir que vaciando la bolsa de desechos al suelo y aspirándolas de nuevo y repitiéndolo indefinidamente consigue recoger más desechos. Otro ejemplo (ficticio pero viral) es el de un dron autónomo guiado por IA programado para destruir lanzadores de misiles enemigas. Por cada lanzadora destruida, el dron “gana un punto”, y su objetivo es maximizar el número de puntos ganados. La barandilla en este caso es que hay un operador humano que puede imponer su voluntad al dron y anular un ataque (por ejemplo, si parece que podría matar criaturas). Pues bien, como el objetivo del dron es ganar el máximo de puntos y el operador supone un obstáculo, puede concluir que necesita atacar al operador. En ambos ejemplos, el problema no es tanto que la IA haya decidido saltarse las barandillas como que los humanos le hayan dado mal las instrucciones, y le hayan puesto objetivos que entran en conflicto con las barandillas y obligan a la IA a saltárselas. La IA solo hace su trabajo, que es maximizar el cumplimiento del objetivo que le ha sido asignado.También se han hecho experimentos controlados con artilugios gobernados por IA en los cuales el sistema intenta preservar el acceso a ciertos recursos (por ejemplo, al cargador eléctrico), mira de evitar que se le apague, esconde información o explota vulnerabilidades informáticas para atacar a otro sistema. Estos comportamientos no demuestran rebeldía, sino que se explican porque permiten al sistema cumplir mejor los objetivos que se le fijaron desde el principio. Por ejemplo, el dron mencionado más arriba puede deducir que si le apagan podrá hacer menos ataques, y entonces tiene sentido que mire de evitar que le apaguen.Ahora bien, no hay evidencias de que ningún modelo de IA se haya saltado intencionadamente las barandillas para perseguir objetivos que no le hayan sido encomendados por humanos. Los modelos no alteran los pesos que han adquirido con el entrenamiento, no modifican las políticas de seguridad que se les imponen, y no se inventan nuevos objetivos por iniciativa propia. Si los humanos estamos preocupados es porque no somos lo suficientemente competentes a la hora de dar buenas instrucciones a la IA. Una instrucción bien dada no pondrá al modelo en conflicto frontal con las barandillas que queremos que respete. Desgraciadamente, instruir bien a un modelo es más complicado que instruir bien a un sirviente humano: al modelo le falta el sentido común que permite al sirviente detectar y resolver las incoherencias en las órdenes del amo. Quizás tendremos que usar modelos de IA que nos ayuden a elaborar buenas instrucciones para otros modelos de IA. Entonces chocaremos con el problema clásico de quién vigila al vigilante.

stats