Predicción vs Decisión: Anatomía de una decisión automatizada
Hoy le haremos la autopsia a una decisión completamente automatizada del art. 22 RGPD.
Para entender los movimientos tectónicos que están derribando negocios, hay que empezar, como decía Hannibal Lecter por los primeros principios. En este caso técnico-económicos.
Este post sigue la serie dedicada a la IA que empezó aquí comentando la obra de Eric Topol -Deep Medicine- y la de Daniel Kahneman (los problemas de nuestros sesgos humanos y cómo pueden ser superados por la inteligencia artificial), siguió aquí comentando la lentitud y dificultades -por razones muy humanas) de adopción de tecnologías disruptivas y la ejem, predicción de centauros de Cory Doctorow (humano cabalgando IAs o quizá, lo contrario).
También vimos la parte que no te suelen contar sobre la extracción de inferencias, o lo que es lo mismo, de dónde salen las predicciones algorítmicas.
Más adelante practicamos una autopsia a una decisión automatizada para descomponerla en sus partes (data set, predicción, criterio y acción) para ver las consecuencias económicas de refundir (automatizar) varias de esas partes, o adjudicárselas a personas distintas de las que hoy las controlan.
Y hoy revisaremos los sesgos más difíciles de detectar y (costosos de arreglar) los que afectan, no al modelo, sino al propio data set con la que se ha entrenado el modelo de Inteligencia Artificial.
Si te interesa la confluencia entre la Inteligencia Artificial y la normativa de protección de datos, es posible que te interese nuestra formación sobre la materia: «Aplicando el RGPD a la IA en la práctica» y «Entendiendo la AI Act».
Indice
TJUE: El caso Schufa
En posts anteriores del blog, hablamos de pasada de la totémica sentencia Schufa.
El TJUE cogió el guante lanzado por Schufa, compañía alemana de credit scoring que comercializa predicciones sobre la capacidad de personas físicas o jurídicas para devolver un determinado crédito. Detrás de Schufa están todos los bancos alemanes que se basan en las predicciones de Schufa para conceder o denegar créditos a sus clientes.
Un cliente del banco al que se le había denegado un crédito denuncio a ambas empresas, alegando que la denegación se había basado en información errónea.
El cliente sustancialmente reclamó la aplicación del art. 22 RGPD para que se le explicara cómo se había adoptado la decisión -que presumía automatizada-, sobre la base de qué información, y reclamando su corrección (la de la información y claro, la de la denegación del crédito) si, como suponía dicha información era incorrecta.
La respuesta de Schufa les sorprenderá.
Schufa resumidamente dijo: lo que yo hago son predicciones automatizadas, pero no decisiones y no tienen efecto sobre los interesados: las decisiones las toma el banco, así que a mí no se me aplica el 22 RGPD, pregúntenle al banco.
Claro, con este planteamiento, el banco -no presente en este procedimiento- bien podría haber dicho “lo automatizado no son mis decisiones, son las predicciones de Schufa”, porque Manolo el empleado toma la decisión él mismo, después de leer detenidamente y valorar [carraspea y tose repetidas veces] todas las posibilidades.
El fallo
El TJUE declaró que las predicciones de Schufa están sujetas al art. 22:
- Aunque no sean «decisiones» propiamente dichas, sino predicciones
- Aunque no tengan efectos propiamente dichos para un tercero (porque las decisiones strictu sensu las tome aguas abajo un tercero), y
- Aunque exista una mayor o menor intervención humana, si el tercero que «decide», lo hace consistentemente siguiendo la predicción, sin contradecirla.
Predicción vs criterio vs decisión
Nos interesa aquí como el TJUE entiende perfectamente la diferencia entre la predicción y la decisión.
Esta distinción es súper importante en el estupendo libro “Power and prediction” de Ajay Agrawal que sus recomiendo.
El autor hace una disección de los elementos que componen una decisión automatizada, sea esta adoptada por los algoritmos de toda la vida o por las modernas inteligencias artificiales.
Los elementos son siempre los mismos,
- los datos o las bases de datos en las que se basa la predicción,
- la predicción,
- el criterio para adoptar la decisión y
- la acción desencadenada por la decisión.
Los interesantes son los dos elementos del medio: predicción y criterio.
¿Por qué no es fácil de pillar esto?
La diferencia es resbaladiza porque estamos acostumbrados a que la misma persona (i) predice -va a llover- y con base de su propia predicción (ii) adopte la decisión -me llevo el paraguas- conforme a (iii) su criterio -aunque sea un coñazo y al final no llueva-.
El criterio es saber decidir entre los pros y los contras de cada de las opciones posibles.
Os lo explico desglosando el ejemplo de la predicción meteorológica.
Paquetón
Tenemos a Roberto Brasero, un señor al que mi madre, por lo que sea, llama “Paquetón”.
Bueno, imaginemos que el hombre del tiempo de abultado pantalón dice que mañana hay un 80% de posibilidades de que llueva.
Lo primero interesante es que su predicción no es determinista, sino probabilista.
No te dice que va a ser blanco negro, no te dice que es seguro o no que vaya a llover.
Te dice que hay un 80% de posibilidades de que llueva.
Eso quiere decir es que si hubiera 100 mañanas en 80 de ellos llovería y en los 20 restantes, no.
Y con esa predicción nos toca tomar una decisión.
- bien llevar paraguas, asumiendo que a lo mejor no llueve, y tendremos que cargar con él todo el día,
- bien dejarnos el paraguas en casa, asumiendo que si de verdad acaba lloviendo, nos vamos a mojar.
Tiene mejor criterio quien es capaz de evaluar los pros y contras de cada posibilidad y toma las mejores decisiones.
Automatización
La promesa dorada de la IA es la automatización:
Cuando tenemos procesos perfectamente estudiados y formalizados y divididos en segmentos, y conseguimos previsiones lo suficientemente buenas (y fáciles y baratas), se puede codificar el criterio y entonces la predicción lleva directamente a la acción porque se dice que… ¡exacto! La decisión se ha tomado automatizadamente.
¿Y si no se puede automatizar, dónde nos quedamos?
Sin embargo, cuando esto no es así, la IA produce un efecto muy distinto.
Recordemos que antes decíamos que predicción, criterio y decisión parecían cosas difíciles de distinguir porque las tres se producían dentro de la misma cabeza.
Ahora, se va a separar la sede que emite predicciones y la sede que toma las decisiones definitivas conforme a su criterio.
Dos ejemplos: taxistas y radiólogos
El autor propone varios ejemplos interesantes.
Taxistas
Anteriormente los taxistas tenían el monopolio de su negocio -olvidando movidas de licencias a administrativas y demás- porque tenían el monopolio del conocimiento sobre donde estaban las calles en cada ciudad, y cuál era la ruta más corta o más fácil para llegarte un sitio a otro.
El advenimiento de los sistemas de navegación basados en GPS, han democratizado el expertise de los taxistas. No es que los taxistas se hayan vuelto tontos de pronto, es que cualquier hijo de vecino con un GPS o un móvil, -con el apoyo de sus predicciones instantáneas, y acertadas, y baratas- puede hacerle la competencia al taxista.
Radiólogos
Un ejemplo más complejo y no tan sencillo es el de las redes neuronales que analizan imágenes clínicas.
Es famosa la capacidad de las redes neuronales para interpretar las imágenes clínicas, que aparentemente superan a cualquier radiólogo.
Hemos escuchado muchas veces que los radiólogos iban a desaparecer porque una red neuronal es capaz de examinar cientos de parámetros a la vez, mientras que los radiólogos humanos, son capaces de gestionar en su cabeza muchos menos. Y además están afectados por el sesgo de proximidad, es decir, por los últimos casos relevantes que han analizado.
Pues bien, en la práctica, lo que sucede es que la redes neuronales son muy certeras, fiables (y no sé si muy baratas) prediciendo cuándo el paciente no tiene cáncer.
Pero cuando el porcentaje de lo contrario es apreciable cobra mucho valor el criterio del radiólogo, porque los radiólogos siguen siendo los únicos capaces de examinar y considerar el contexto del paciente concreto.
Power shifts
Esto nos lleva a los cambios de poder o power shifts.
El bottom line de todo esto es que, como dice el autor, los algoritmos más comunes hoy en día suelen ser decisiones ajenas que han sido esculpidas en forma de código informático.
Cuando las nuevas predicciones se revelan superiores a dichas reglas (acertando en entornos más personalizados o singulares), cuestionan el sistema establecido.
Todo esto es muy interesante, pero (promosió inevitable, my friends) no lo suficientemente interesante como para ser tratado en mi extraordinaria formación «Aplicando el RGPD a la IA hoy, en la práctica». En la formación despedazamos entre todos problemas y situaciones reales aplicando el RGPD, porque la AI Act se superpone, pero no sustituye al RGPD, que hay que saber aplicar anyway. Más info aquí.
Muy muy buen fin de semana.
Jorge García Herrero
Abogado y Delegado de protección de datos