Algoritmos discriminadores

Contra el racismo tecnológico

Los especialistas señalan que el uso intensivo de macrodatos, la inteligencia artificial, el reconocimiento facial y otras nuevas tecnologías corre el riesgo de profundizar el racismo.

Asimismo, estas prácticas pueden acentuar la discriminación racial, la xenofobia y, en consecuencia, la violación de muchos derechos humanos.

Verene Shepherd, miembro del Comité que dirigió la redacción de la recomendación general, aseguró:

Los macrodatos y las herramientas de inteligencia artificial pueden reproducir y reforzar los prejuicios ya existentes y dar lugar a prácticas aún más discriminatorias. Estamos profundamente preocupados por los riesgos particulares cuando se utiliza el perfil algorítmico para determinar la probabilidad de actividad delictiva.

Una práctica en la mira es el uso de datos históricos de detenciones sobre un barrio determinado que pueden reflejar prácticas policiales con prejuicios raciales.

Esos datos profundizarán el riesgo de vigilancia excesiva en el mismo vecindario.

Como consecuencia, esto puede conducir a más detenciones, creando un circuito de retroalimentación peligroso».

El uso cada vez mayor de tecnologías de reconocimiento y vigilancia facial para rastrear y controlar datos demográficos específicos genera preocupaciones con respecto a muchos derechos humanos.

Estos incluyen, por ejemplo, los derechos a la intimidad, la libertad de reunión pacífica y asociación, la libertad de expresión y libertad de movimiento.

Medidas «anti-algoritmos»

Ante esta preocupación, el comité de expertos de la ONU sobre derechos humanos desplegó una serie de recomendaciones hacia las fuerzas de seguridad.

Una de ellas es que los sistemas de elaboración de perfiles algorítmicos deberían cumplir plenamente con el derecho internacional de los derechos humanos.

En ese sentido, subrayaron la importancia de la transparencia en el diseño y la aplicación de sistemas de elaboración de perfiles algorítmicos cuando se implementan con fines policiales.

Una recomendación concreta es la divulgación pública del uso de tales sistemas y explicaciones de cómo funcionan los sistemas.

En ese camino, es importante que las autoridades revelen qué conjuntos de datos se están utilizando y qué medidas se implementaron para prevenir daños a los derechos humanos”.

El negocio de la vigilancia

El Comité de Naciones Unidas también puso su mirada en las empresas privadas que lucran con datos personales.

Esas firmas son las que se dedican a desarrollar, vender u operar sistemas de elaboración de perfiles algorítmicos con fines de aplicación de la ley.

Su trabajo debe ser monitoreado por expertos legales, para evaluar el riesgo de violación de los derechos humanos que tales sistemas pueden plantear.

Los expertos también recomendaron que los Estados evalúen cuidadosamente el impacto en los derechos humanos antes de emplear la tecnología de reconocimiento facial.

En ese sentido, remarcaron que “además de ser ilegal, la elaboración de perfiles raciales también puede ser ineficaz y contraproducente como herramienta de aplicación de la ley”.

Además, advirtieron que «las personas sometidas a la aplicación de la ley discriminatoria tienden a tener menos confianza en la policía y, como resultado, están menos dispuestas a cooperar con ellos».