Falacia del Fiscal y «valor p» ¿Seguro que una huella dactilar identifica al culpable?
Igual que la semana pasada, reproduzco aquí otra memorable (y crucial) lección del libro «Bullshit: contra la charlatenería» de Carl T. Bergstrom y Jevin D. West.
La semana pasada aprendimos que cuando hacemos selecciones de datos en un data set aplicando dos criterios a la vez, pasan cosas raras.
Y eso, justo eso, explica que casi toda la gente muy guapa que conocemos sea medio (o más que medio) gilipollas.
En esta nueva entrega de “O sea, science” cuestionamos la asunción de que una huella dactilar es una prueba inexpugnable para la identificación de una persona, para explicar el uso de los “valores p”.
Y lo hacemos con un ejemplo que no olvidarás fácilmente: la falacia del fiscal.
Los «valores p» sirven para distinguir, patrones reales entre el ruido aleatorio.
Pero como la semana pasada tú probablemente estás aquí por la historieta de apoyo, no por la lección subyacente, así que… al lío.
Indice
La falacia del fiscal
Imaginemos un importante abogado (tú) cuyo cliente es Félix, un respetable biólogo acusado de cometer el mayor robo de obras de arte del siglo.
El crimen fue espectacular.
Un ricachón coleccionista de arte envió su colección privada de obras maestras en un vagón de tren custodiado, en un trayecto de 250 kms hasta Nueva York. El viaje transcurrió sin incidentes, pero al llegar al museo, para sorpresa de todos, los cuatro cuadros más valiosos de la colección habían desparecido.
La única pista fue una huella dactilar en el marco de una de las pinturas desaparecidas. Las obras nunca fueron recuperadas.
La policía envió la huella al FBI, y encontraron un match con la huella dactilar del biólogo, que había proporcionado sus huellas dactilares a la Administración de Seguridad en un control rutinario de seguridad en un aeropuerto.
El biólogo no tenía coartada: no había tenido contacto con ninguna persona durante las dos semanas que se pasó rastreando lirones caretos del Canadá en la estepa.
El abogado estaba convencido de que su cliente no podía ser el culpable. Ese gafotas disfuncional no se parecía en nada a nada a un ladrón de arte con nervios de acero de los de Ocean Eleven.
En el juicio, apareció una inteligente y ambiciosa Fiscal.
Tras presentar el resto de las pruebas —todas ellas débiles y circunstanciales—, la Fiscal hizo valer su gran baza: la huella dactilar, describiendo ante el jurado el proceso de cotejo informático y finalizó diciendo:
—No hay ninguna posibilidad de conseguir por casualidad una coincidencia tan perfecta de huellas dactilares como la que se da en este caso.
El abogado replica:
—Usted ha dicho que no hay ninguna posibilidad de encontrar una coincidencia tan perfecta como la que presenta esta huella dactilar. Eso no es así. Toda prueba tiene alguna probabilidad de ser errónea.
—Bueno, teóricamente la prueba podría ser errónea —admite la fiscal—, pero en la práctica no hay ninguna posibilidad de que eso sea así. Los estudios del FBI han demostrado que existe una posibilidad entre diez millones de que dos huellas dactilares coincidan a la perfección. Una posibilidad entre diez millones: eso descarta cualquier duda razonable.
Eso es justo lo que el abogado estaba buscando (y yo, al contar esta historia).
El letrado se sacó literalmente de la manga una tabla, en plan Tamariz, y la enseñó al jurado:
—Creo que estaremos todos de acuerdo —afirma el abogado— en que este delito ha sido cometido por alguien. Vamos a asumir que el verdadero culpable está en la base de datos de huellas dactilares del FBI. Puede que no lo esté, pero eso debilitaría aún más su caso, que ya es bastante endeble, señora fiscal… Así que asumamos por ahora que el responsable está incluido en esa base.
La fiscal asiente con la cabeza.
—Así pues, la tabla sería algo así —afirma el abogado, al tiempo que rellena la fila superior con un rotulador rojo.
Y volviéndose hacia la fiscal, dice:
—Ahora, dígame: ¿cuánta gente está fichada en la base de datos del FBI?
La fiscal interrumpe:
—¡Protesto, señoría! ¿Cómo es posible que eso sea relevante para este caso?
—En realidad, es el meollo del asunto —responde el abogado—. Quedará muy claro enseguida.
—Protesta denegada —responde el juez—. Prosigan.
La fiscal admite que, contando todas las huellas de criminales de los Estados Unidos, todas las huellas de verificación de antecedentes civiles y todas las huellas que guarda la Administración de Seguridad en el Transporte, hay aproximadamente cincuenta millones de estadounidenses representados en la base de datos. Y, por supuesto, la mayoría de esas personas tendrán huellas que no coincidan con la encontrada en el marco del cuadro robado.
—Siendo así, ahora podemos terminar de rellenar la tabla —afirma el abogado, al tiempo que añade la cantidad de 50.000.000 a la celda inferior derecha.
Acto seguido señala la esquina de abajo a la izquierda —la que corresponde a la gente inocente cuyas huellas, no obstante, coinciden— y pregunta:
—¿Qué deberíamos poner aquí? —Y mirando a la fiscal—: Usted dice que aquí hay una posibilidad entre diez millones de que el algoritmo halle una falsa coincidencia. Eso quiere decir que, entre cincuenta millones de personas de la base de datos, debería haber cerca de cinco personas cuya huella dactilar coincidiera con la encontrada en la escena del crimen. Y estamos considerando que el culpable está entre ellas, así que podemos completar la tabla así:
El abogado se vuelve hacia el jurado y dice:
—La fiscal está intentando distraer su atención con esta comparación.
Y entonces señala la línea inferior (en gris).
—Hay una entre diez millones de posibilidades de que la coincidencia de las huellas dactilares sea accidental. Pero esto no es lo relevante para nuestro caso. No nos importa cuál es la probabilidad de que haya coincidencia, porque mi cliente es inocente.
Lo que sabemos es que existe una coincidencia.
Lo que queremos saber —prosigue— es qué posibilidades hay de que mi cliente sea inocente si tenemos una coincidencia.
Ese es un asunto completamente diferente, y está ilustrado por la columna de la izquierda. Esperamos que haya cinco coincidencias de personas inocentes en la base de datos, y una persona culpable.
La conclusión es que, dada una coincidencia, hay una posibilidad entre seis de que el acusado haya cometido realmente el crimen.
Yo no puedo probar que mi cliente sea inocente. Todo lo que tenemos es su palabra de que estaba estudiando los ratones esos de las narices. Como coño se llamen, no importa. Lo importante es que yo no tengo que probar que mi cliente es inocente. Toda persona es inocente hasta que se demuestre lo contrario, y el estándar de prueba de culpabilidad debe ir «más allá de una duda razonable». Si hay cinco posibilidades entre seis de que mi defendido sea inocente, claramente no estamos cerca de ese estándar.
Por tanto, mi cliente tiene que ser absuelto.
Demoledor, ¿Huh?
«O sea, science»: el “valor p”
El valor p mide cómo de raros serían los datos de tu experimento si en realidad no hubiera efecto. En este caso, si el acusado fuera inocente. (hipótesis nula);
El valor p no te dice la probabilidad de que el efecto sea real.
Confundir las dos cosas es caer en la falacia del fiscal.
Dicho de otro modo, el “valor p” es la probabilidad de obtener un resultado tan raro, extraño o extremo como el que observas simplemente por azar o coincidencia.
Un valor p pequeño indica que es bastante raro que esos datos sean fruto de la suerte, y un valor p grande indica que son normales, compatibles con el puro azar.
En la historia que acabamos de contar, el argumento del abogado no es un truco para distraer la atención: es correcto.
Tanto el abogado como la fiscal han destacado, cada uno por su parte, diferentes probabilidades condicionales:
Una probabilidad condicional es la posibilidad de que algo sea cierto dada otra información; o, dicho de otro modo, la probabilidad de que ocurra un evento “A” sabiendo que también sucede otro evento “B”.
El valor p de la fiscal
El fiscal pregunta qué posibilidad hay de que haya una falsa coincidencia si tomamos a una persona inocente elegida al azar.
Esto se formularía como P (coincidencia / inocente). 1/10.000.000
“Hay una posibilidad entre 10.000.000 de que dos huellas coincidan por azar.”
Sería rarísimo ver esta coincidencia si el acusado fuera inocente.
El valor p del abogado
El abogado se hace la pregunta contraria: cuál es la posibilidad de que su cliente sea inocente dado que hay una coincidencia, que escribimos como P (inocente/ coincidencia).
Si tenemos 50.000.000 de personas en la base, y con una tasa de falso positivo de 1 en 10.000.000, esperamos aproximadamente 5 falsas coincidencias entre personas inocentes.
Si además asumimos que el verdadero culpable está en la base, habrá 1 coincidencia auténtica.
Total coincidencias esperadas: 6 (5 inocentes + 1 culpable).
Entonces:
P(culpable | coincidencia) = 1/6 = 17%
P(inocente | coincidencia) = 5/6 = 83%
Aunque la probabilidad de una coincidencia falsa dada la inocencia era minúscula, la probabilidad de inocencia dado que vemos una coincidencia sigue siendo grande, porque hay muchísimas personas en la base de datos.
La clave
La clave es que es un error frecuente asumir que estas dos probabilidades de coincidencia son iguales, pero eso no es cierto.
En nuestro ejemplo, P (coincidencia / inocente) es igual a 1/10.000.000, mientras que P (inocente / coincidencia) es de 5/6.
La confusión es tan común que tiene su propio nombre: “la falacia del fiscal”.
Esta es la historia que ilustra por qué se denomina así.
Jorge García Herrero
Abogado y Delegado de protección de datos