Unámonos para evitar la discriminación de los algoritmos que nos gobiernan

Fue una historia sorprendente. «Máquinas sesgadas», decía el titular, y el subtítulo apostillaba: «Un software utilizado por todo el país para predecir futuros criminales tiene prejuicios en contra de los negros»

ProPublica, una organización de noticias sin ánimo de lucro y ganadora de un Premio Pulitzer, había analizado el software de evaluación de riesgos COMPAS, que Estados Unidos emplea para predecir qué criminales tienen mayores probabilidades de reincidir. Con los resultados en la mano, los jueces de todo EEUU deciden el futuro de los acusados ​​y condenados mediante las cantidades de la fianza para salir en libertad y las sentencias penales. ProPublica comparó las evaluaciones de riesgo de COMPAS de más de 10.000 personas detenidas en un condado de Florida (EEUU) con la frecuencia con la que realmente volvían a reincidir. Según su análisis, algoritmo «predijo correctamente la reincidencia para los acusados ​​blancos y negros con aproximadamente la misma tasa de éxito». Pero cuando el algoritmo fallaba, el error era distinto para negros y blancos. En concreto, «los negros son casi dos veces más propensos que los blancos a ser clasificados como un riesgo más alto sin llegar realmente a reincidir». Y COMPAS tendía a cometer el error opuesto con los blancos: «Son mucho más propensos que los negros a ser clasificados de bajo riesgo y después cometer otros delitos».