Predicciones algorítmicas: Sentencia «Schufa»

 

El 4 de mayo de 2022, cualquiera que estuviera viendo el Real Madrid – Manchester City habría dado el partido por perdido en el minuto 85. Me sé de alguien que envió un mensaje a su amigo madridista acérrimo descojonándose por la derrota, mensaje que le tocó tragarse dolorosamente al día siguiente (cuando se enteró del resultado final).

Porque el Real Madrid hizo lo imposible. Marcó dos goles en dos minutos, (el 89 y el 91) forzando la prórroga ante el Manchester City, al que poco después acabó eliminando.

¿Quién habría podido predecir este resultado con mayor fiabilidad? ¿Un algoritmo o un ser humano?

¿Y si hubiéramos preguntado a un algoritmo y a un humano en el minuto 88? ¿Eh?

 

Este post sigue la serie dedicada a la IA que empezó aquí comentando la obra de Eric Topol -Deep Medicine- y la de Daniel Kahneman (los problemas de nuestros sesgos humanos y cómo pueden ser superados por la inteligencia artificial), siguió aquí comentando la lentitud y dificultades -por razones muy humanas) de adopción de tecnologías disruptivas y la ejem, predicción de centauros de Cory Doctorow (humano cabalgando IAs o quizá, lo contrario).

También vimos la parte que no te suelen contar sobre la extracción de inferencias, o lo que es lo mismo, de dónde salen las predicciones algorítmicas.

Más adelante practicamos una autopsia a una decisión automatizada para descomponerla en sus partes (data set, predicción, criterio y acción) para ver las consecuencias económicas de refundir (automatizar) varias de esas partes, o adjudicárselas a personas distintas de las que hoy las controlan.

Y hoy revisaremos los sesgos más difíciles de detectar y (costosos de arreglar) los que afectan, no al modelo, sino al propio data set con la que se ha entrenado el modelo de Inteligencia Artificial.

Si te interesa la confluencia entre la Inteligencia Artificial y la normativa de protección de datos, es posible que te interese nuestra formación sobre la materia: «Aplicando el RGPD a la IA en la práctica» y «Entendiendo la AI Act».

 

Hoy hablaremos de algoritmos de predicción (o decisión automatizada)

Este post es básicamente un resumenbarrarevoltillo de un gran paper: “The prediction society” de Daniel Solove y Hideyuki Matusumi -Yuki-, aderezado con más citas e ideas propias y ajenas.

Hace un par de semanas veíamos los muchos sesgos o minusvalías de cualquier mortal para tomar decisiones mínimamente racionales.

El paper comentado analiza los riesgos de, a la vista de esa “irracionalidad” humana, dimitir de la responsabilidad del juicio final y asumir sistemáticamente las decisiones de una inteligencia artificial, teóricamente mejor preparada.

Este tema se puso muy de moda con la postrera sentencia del TJUE C-634/21 “Schufa” que cerró gloriosamente el 2023 cual cabezazo de Rodrygo empatando el partido.

El TL;DR de este fallo es el siguiente:

Las predicciones de probabilidad están sujetas al 22 RGPD:

• Aunque no sean «decisiones» propiamente dichas, sino pronósticos
• Aunque no tengan efectos propiamente dichos para un tercero (porque las decisiones strictu sensu las tome aguas abajo un tercero), y
• Aunque exista una mayor o menor intervención humana, si el tercero que «decide», decide conforme a la predicción, es decir, la respeta.

 

Lorenzo Cotino ha descrito certeramente el fallo como el “levantamiento del velo” de las decisiones completamente automatizadas del 22 RGPD.

Recordemos que, hasta anteayer, algún histórico seguía cuestionando el art 22 como obligación vinculante para los responsables, interpretándolo como un derecho ejercitable ya si eso por el interesado. Nice.

 

Fosilización, irrefutabilidad y profecías autocumplidas

El paper enumera cuatro problemas, que yo dejo en tres: fosilización, irrefutabilidad y profecías autocumplidas.

Como decíamos la semana pasada, todos hacemos predicciones. Y sobre ellas, “enjuiciamos” y decidimos. La promesa de la IA es hacerse cargo de las predicciones (y mejorarlas) y liberarnos de ese trabajo para que podamos decidir mejor.

Pero hoy vivimos rodeados de algoritmos de decisión automatizada funcionando a cascoporro. En especial en credit scoring, justicia penal, empleo, educación, seguros.

 

¿Por qué?

Veamos:

La predicción consiste en convertir información que tienes a tu alcance en información que necesitas.

Porque tú también haces predicciones, inferencias, perfilados: cuando en milisegundos ves a alguien por primera vez y decides (inconscientemente) si te cae bien o no, estás infiriendo tu opinión (la psicología evolutiva dice que la primera es: ¿ese de ahí es o no peligroso para mí?) basándote en tu experiencia acumulada.

Del mismo modo, los perfiles se construyen comparando datos conocidos sobre una persona “Alice” con datos conocidos sobre otras personas (data set), y extrapolando un juicio y aplicándolo a Alice.

En la elaboración tradicional de perfiles, los humanos descubrían los patrones de los datos y elegían los puntos de datos relevantes para construir un perfil a partir del cual hacer inferencias. Pero con los algoritmos de aprendizaje automático, son las máquinas las que elaboran los perfiles

 

Yes, but:

Aunque las predicciones algorítmicas pueden parecer clarividentes, en el sentido de 100% fiables, no lo son.

Veamos cómo funcionan:

Las predicciones algorítmicas se basan en premisas que no se cumplen siempre:

(1) “el pasado se repite” o “al menos, rima”. Por tanto, el futuro será similar al pasado;

(2) “la gente no cambia”: un individuo seguirá haciendo las cosas de forma similar al pasado; y

(3) “cada oveja con su pareja”: los grupos de individuos que comparten características o rasgos similares actúan de forma similar.

 

Además, inevitablemente, las predicciones algorítmicas nunca son precisas al 100% porque el futuro nunca es seguro al 100%.

Por supuesto, hay ocasiones en las que es apropiado -incluso deseable- recurrir al pasado de las personas para tomar decisiones sobre el futuro.

Pero -esta es la idea clave- la elección de cuándo y cómo hacerlo implica consideraciones éticas que las decisiones automatizadas no llevan de serie.

 

 

Cuando la excepción no confirma la regla

Los algoritmos no manejan bien los “sirocos”, las acciones humanas inesperadas. Los algoritmos funcionan fenomenal con Pedri, pero no saben qué hacer con tipos como glups, Julio Salinas o Morata.

Para un algoritmo, esos sirocos son ruido que hay que minimizar. Pero la improvisación y la excepción es lo que hace hombre al hombre.

Las predicciones algorítmicas encadenan a las personas no sólo a su propio pasado, sino también al pasado de los demás.

Por ejemplo, los sesgos y prejuicios discriminatorios presentes en un data set (o en un algoritmo) pueden afectar drásticamente a las finanzas, la salud, la educación y las carreras de grupos enteros de población.

«Dada la naturaleza de la predicción, un pasado racialmente desigual producirá necesariamente resultados racialmente desiguales«.

La fosilización también funciona en sentido contrario. Afianza los privilegios.

Las ventajas quedan grabadas en el futuro porque existen en los data sets.

 

La recopilación de datos no es un proceso neutral

Como observa astutamente Oscar Gandy, la recopilación de datos no es un proceso neutral.

Porque los datos que utilizan los algoritmos predictivos no se seleccionan al azar.

Los datos existen porque han sido recopilados o generados, a menudo bajo la dirección de seres humanos y organizaciones con su propia agenda de intereses.

Los datos se recogen para revelar, y a veces no se recogen para ocultar.

Los datos que los algoritmos extraen del pasado son producto del poder y, cuando son utilizados por predicciones algorítmicas, los datos perpetúan el poder.

 

Irrefutabilidad, “Profecías Autocumplidas”

Lo bueno de las predicciones es que no pueden confirmarse como verdaderas o falsas hasta.. el futuro.

La cosa se complica cuando, por ser predicciones hechas por un algoritmo, se toma una decisión basada en la predicción, que puede o no solucionar o medio arreglar el problema, pero que, casi siempre, evitará saber si el pronóstico inicial se cumpliría o no.

Un ejemplo claro es el de la recomendación automatizada de no contratar a un candidato con acceso a la caja, basado en sus antecedentes penales y en un pronóstico de probabilidad más alta de riesgo de cometer apropiación indebida: el hecho de seguir la recomendación del algoritmo imposibilitará por definición conocer su grado de acierto en la práctica.

En estos casos, lo fácil es adoptar la narrativa de que la predicción era correcta y que la intervención evitó con éxito que se concretara el riesgo.

 

En uno de los memorables momentos de Matrix, la Oráculo le dice a Neo “mañana te atormentarás preguntándote si hubieras tirado el jarrón si yo no te hubiera dicho nada”. O si todo hubiera salido igual si no le hubiera descargado de la responsabilidad de ser el Mesías, mintiéndole.

 

El círculo vicioso

Y esto también pasa todos los días: las organizaciones tienen grandes incentivos para intervenir preventivamente para evitar resultados en las que aparecerían negligentes por no haber actuada ante una predicción.

Accountability, compliance, anybody??

Nos pasa a todos: En lo que se conoce como «efecto Pigmalión», los alumnos rinden más cuando se les hace conscientes de que las expectativas sobre ellos son mayores.

Como con la fosilización, el problema de la profecía autocumplida no sólo afecta a los individuos, sino también a los grupos y a las poblaciones de personas con características similares.

El problema de la profecía autocumplida se da con frecuencia en el contexto de la justicia penal.

Si la policía basa sus modelos o expectativas en los datos de detenciones, y si la elaboración de perfiles raciales aumenta la disparidad racial en el número de negros que son detenidos, cacheados, arrestados y condenados, entonces las estadísticas que reflejan esta disparidad racial servirán como prueba en apoyo de la idoneidad de la técnica.

Las comunidades marginadas están sometidas a una vigilancia mayor. Por lo general, cuanto más mire el ojo vigilante, más infracciones legales encontrará, lo que justificará aún más vigilancia: una espiral que se autoperpetúa.

Según el filósofo Joseph Joubert: “no existen ciudadanos inocentes sino poco vigilados”.

 

¿Cómo funciona?

Primero: En muchas organizaciones, el principal objetivo no es la precisión: mientras las predicciones mejoren el azar, serán suficientes. Si lo que importa es la eficacia: ahorrar tiempo y dinero, las decisiones automatizadas o parcialmente automatizadas siempre serán más rápidas y baratas.

Para los interesados, en cambio, estos objetivos aportan pocos beneficios. Los individuos sólo sufren los costes, los errores.

Segundo: Cuanto más precisas parecen ser las predicciones algorítmicas, más confianza tienen en ellas sus creadores. La humildad con la predicción humana se sustituye por la arrogancia con la predicción algorítmica. Se confía más en las predicciones algorítmicas y se utilizan más.

Y ya está liada: el incentivo es triple: mas eficiencia y rapidez, mayor acierto y además es fácil caer en la trampa de pensar que su uso incrementa la accountability de la organización.

 

Del Panopticon al Predicticon

Las predicciones algorítmicas no son clarividentes: no son predicciones del futuro; son correlaciones del pasado.

La metáfora de la predicción como visión del futuro hace que las predicciones parezcan más pasivas y neutrales de lo que son. Las predicciones algorítmicas no sólo pronostican el futuro; también influyen en él.

No son neutrales: inhiben la singularidad, la ignoran o la penalizan. Estandarizan y eliminan la diversidad.

El futuro predicho algorítmicamente no deja espacio para que la gente tome caminos poco transitados.

No permitirá que la gente desafíe las probabilidades.

Las predicciones crean un tipo diferente de prisión, no un Panópticon sino un Predícticon

En el Predicticon nadie habría visto al Real Madrid empatar ese partido: el algoritmo hubiera mandado a la gente salir del Bernabeu antes de tiempo rumbo al parking para evitar el atasco.

Y a quienes lo vieran en remoto, les habría recomendado una película optimista para endulzar el mal trago, estando todo el pescado vendido.

 

Jorge García Herrero

Abogado y Delegado de Protección de Datos