La IA discrimina y eso es un problema en el mundo real

Hace un par de años, cuando Brian Brackeen se preparaba para presentar su software de reconocimiento facial a un cliente potencial como alternativa a las contraseñas, éste dejó de funcionar. Presa del pánico, intentó ajustar la iluminación del cuarto, luego el Wi-Fi, antes de darse cuenta de que el problema era su rostro.

Brackeen es negro, pero, como la mayoría de los desarrolladores de reconocimiento facial, había entrenado sus algoritmos con un conjunto de caras en su mayoría blancas. Llamó a un colega blanco para posar para la demostración y cerraron el trato. Fue una victoria pírrica, dice: "Fue como si tu propio hijo no te reconociera".

En Kairos AR, su empresa de reconocimiento facial de 40 personas en Miami, Brackeen dice que ha mejorado el software agregando más caras negras y marrones a sus conjuntos de imágenes, pero los resultados aún son imperfectos.

El mismo problema atormenta a otras empresas, incluidas Microsoft, IBM y Amazon, y a su creciente gama de clientes. El reconocimiento facial se usa para ayudar al gobierno de India a hallar a niños desaparecidos, y los medios británicos detectan celebridades en bodas reales. Otro uso más polémico es el que les dan las agencias encargadas de hacer cumplir la ley. Brackeen cree que el problema del sesgo racial es lo suficientemente grave como para que las policías no usen el reconocimiento facial en absoluto.

Microsoft e IBM, así como la china Face ++, identificaron erróneamente a las mujeres de piel más oscura el 35 por ciento de las veces y a los hombres de piel más oscura el 12 por ciento, según un informe publicado por investigadores del MIT a principios de este año. La diferencia de género se debe a un conjunto más pequeño de caras de mujeres. Los softwares pueden ver solo lo que se le ha enseñado a ver.

En los últimos meses, los principales proveedores dicen que han diversificado sus conjuntos de datos de capacitación para incluir rostros de colores más oscuros y han logrado avances para reducir el sesgo.

Microsoft señala que la nueva versión de su Face API ahora identifica erróneamente solo 1.9 por ciento de las veces a mujeres de piel más oscura, el grupo para el que es más propenso a errores. (La firma dice que su tasa de error para otros grupos es del cero).

IBM indica dice que su Watson Visual Recognition, que también es más débil en la identificación de mujeres de piel más oscura, se equivoca el 3.5 por ciento.

Tanto IBM como Microsoft reconocen que sus resultados no han sido verificados de manera independiente y que las tasas de error en el mundo real podrían ser diferentes. Los creadores de Face ++ no respondieron a las solicitudes de comentarios.

Amazon.com es la que puede tener que preocuparse más por los resultados en el mundo real. El 15 de junio, un grupo de accionistas envió a la empresa una carta pidiéndole que deje de comercializar su sistema Rekognition a los departamentos de policía y otras agencias gubernamentales hasta que se desarrollen pautas para garantizar que el software no genere violaciones de derechos civiles.

En otra carta la semana siguiente, los trabajadores de Amazon le pidieron al director ejecutivo, Jeff Bezos, que dejara de vender Rekognition a las agencias encargadas de hacer cumplir la ley dado "el tratamiento cada vez más inhumano a refugiados e inmigrantes en EU". Amazon declinó hacer comentarios para esta nota.

Las agencias gubernamentales estadounidenses no tienen estándares ampliamente acordados para evaluar los sistemas de reconocimiento facial.

Un estudio de 2016 de la Universidad de Georgetown halló que casi ninguna de las que usan el reconocimiento facial requiere que los proveedores cumplan con un umbral mínimo de precisión.

"Un sistema inexacto implicará a personas por delitos que no cometieron y transferirá la carga a acusados ​​inocentes en demostrar que no son quienes el sistema dice que son", señala Jennifer Lynch, abogada principal de la Electronic Frontier Foundation, defensora de libertades civiles en línea.

El problema no es solo en EU. Esta primavera, un informe de Big Brother Watch, un grupo de derechos civiles del Reino Unido que examinó las solicitudes de registros hechas por varias agencias, concluyó que los sistemas eran terribles.

Por ejemplo, la Policía de South Wales, que usó el reconocimiento facial para examinar personas en eventos públicos, informó que más del 90 por ciento de las coincidencias fueron erróneas. El departamento dijo en un comunicado en su sitio web que el uso del reconocimiento facial había sido un "éxito rotundo", y no respondió a una solicitud de entrevista.

Los fabricantes, incluidos Microsoft e IBM, han dicho que el software continúa siendo un trabajo en progreso, con ingenieros enfocados en mejorar la precisión y la transparencia sobre cómo se están haciendo las mejoras. Dicen que la tecnología ha ayudado a atrapar a traficantes de blancas y posibles terroristas, aunque han dado pocos detalles.

Andrew Ferguson, profesor de derecho en la Universidad del Distrito de Columbia y autor de "The Rise of Big Data Policing", dice que es peligroso el uso de esta poderosa tecnología mientras todavía está en desarrollo y con poca regulación. "La policía está probando nuevas tecnologías o nuevas ideas sin un proceso de investigación para pensar en los prejuicios o en cómo afectarían los derechos civiles", dice.

Los ingenieros están mejorando la forma en que entregan algoritmos a medida que más agencias compran el software, pero es posible que no puedan evitar las crecientes demandas de regulación. Los autores del informe de Georgetown piden leyes estatales y federales que rijan la forma en que los departamentos de policía usan el reconocimiento facial y piden a la policía que evalúe periódicamente el sesgo algorítmico. En abril, un grupo de organizaciones de derechos civiles dijo que era "categóricamente antiético" desplegar un análisis de reconocimiento facial en tiempo real de imágenes captadas por las cámaras de la policía.

Algunos, incluida Lynch, argumentan que sus preocupaciones solo aumentarán a medida que mejore la tecnología. Una imagen precisa fusionada con información personal sobre un individuo, como ubicación, vínculos familiares o registros de votación puede ser reunida por las autoridades usando productos como los de Palantir Technologies para crear un dossier digital sobre personas sin su consentimiento o conocimiento.

"Incluso si tenemos un sistema 100 por ciento preciso, no quiero ese sistema", dice Lynch. "Eso significa que ya no podemos caminar e interactuar con personas sin que el gobierno sepa quiénes somos, dónde estamos y con quién estamos hablando"