El modelo catalán que debe evitar que la IA vulnere tus derechos

BarcelonaGarantizar que la inteligencia artificial no vulnera los derechos fundamentales es el objetivo del reglamento europeo que a partir del próximo año hará que sea obligatorio someter a una evaluación previa todos estos sistemas cuando puedan suponer un riesgo alto para los derechos de las personas. Por ejemplo, cuando tengan relación con la salud, educación, procedimiento judicial, procesos de selección laboral, acceso a ayudas económicas y control de fronteras. A partir del próximo agosto, los sistemas basados ​​en IA tendrán que pasar una evaluación previa para poder utilizarse en la UE. Sin embargo, la norma no concreta cómo debe ser esta evaluación, y Cataluña ha desarrollado un modelo que ya han hecho suyo también el País Vasco, Croacia, Malta y Brasil.

"Hemos sido pioneros y eso ha hecho que nos permita llegar a muchos lugares, que se valore y que haya países que lo hayan adoptado como propio", afirma la presidenta de la Autoridad Catalana de Protección de Datos, Meritxell Borràs, en una entrevista con el ARA unos días después de cerrar un acuerdo con el autor la IA respete los derechos fundamentales. "Si en un sistema de IA se detecta un riesgo relevante, hay que buscar algún mecanismo con el que mitigarlo y, por tanto, hacerlo desaparecer o minimizarlo para que no afecte a los derechos fundamentales de las personas", resume Borràs.

El modelo que se ha desarrollado en Cataluña ha estudiado algunos casos prácticos que sirven de ejemplo de situaciones en las que se podrían producir posibles vulneraciones de derechos fundamentales. Con todo, dada la expansión del uso de la IA, Borràs prevé que "más temprano que tarde habrá nuevas casuísticas sobre la mesa en la que se podrán ampliar las ampliaciones de impacto".

Salud

En el ámbito sanitario, se ha estudiado un sistema de IA que utilizaba imágenes para detectar el cáncer y seguir su evolución, lo que llevaba a decidir sobre el tratamiento para el paciente. "Igual que hasta hace poco las dosis y los tratamientos eran igual para hombres y mujeres y ya hemos visto que en algunos casos no debe ser así, ocurre lo mismo con las etnias" avanza Borràs. En este caso, la IA se había basado sólo en información de pacientes blancos, excluyendo al resto. "Esto ha llevado a ampliar el estudio a otros continentes para incluir a pacientes de otras etnias y que se pueda valorar si hay un cambio o no en su evolución y los tratamientos que necesitan", afirma.

Derechos sociales

Otro ejemplo que cita a Borràs son los sistemas de IA que se utilizan para decidir quién puede recibir un crédito o una ayuda económica. En este caso, alerta de posibles sesgos que pueden derivarse de la estadística. "Puede haber un sesgo por el tipo de población, o porque esa persona vive en un barrio que a priori es más pobre y que puede que haya más posibilidades de que no se devuelvan los créditos con más facilidad", ejemplifica. Pero lo que debe analizarse es la condición de la persona, dice, no el hecho de que viva en ese barrio. "Un algoritmo puede ayudar a decidir quién recibe una ayuda económica, pero si tiene sesgos por el barrio en el que vive no vamos bien", plantea.

Educación

El modelo de análisis de riesgo desarrollado en Cataluña también se ha probado con un sistema diseñado para las evaluaciones de alumnos universitarios y que resumía con un código tipo semáforo su aprendizaje. El objetivo era detectar si un alumno tenía dificultades y, por tanto, necesitaba más atención o refuerzo, pero en la práctica "se producía un sesgo psicológico" tanto en el docente como en el estudiante. "Aunque no era el pretendido, desincentivaba tanto al profesor como al alumno, y se veía afectado el derecho a la educación", explica Borràs.