En 2013 el Gobernador de Michigan lanzo un proyecto llamado Michigan Data Automated System (Midas) el objetivo era detectar fraudes en su programa de beneficios a desempleados; el proyecto tuvo un costo de $43 millones de dólares.
Poco tiempo después el sistema genero decenas de millones de dólares al gobierno en multas por fraude y se generaron casi 28,000 juicios por ciudadanos para recuperar sus beneficios o explicar la situación. Un año después la corte tenia una lista de espera de 27,000 casos para apelar la decision de “Midas”.
Una organización eligió 8,500 casos del sistema para auditar el proceso Midas, y dieron cuenta que solo el 8% eran fraudulento, es decir, decenas de miles de personas no pudieron cobrar sus beneficios de desempleo por un error del sistema; encontraron que Midas tenia un 93% de margen error.
Poco tiempo después el proyecto fue eliminado tirando a la basura $43 millones de dolares, pero sobre todo creando una reacción en cadena; la gente tenía que pelear pos sus beneficios, asi que tenian que ir a juicio, miles de nuevos juicios supero la capacidad de la corte y requirió que se contrataran mas jueces, mas lamentable, muchas personas perdieron sus casas o retrasaron sus pagos por un error de un bot.
Entre mas nos acercamos a un mundo en el cual la inteligencia artificial tomará gran parte de las tareas repetitivas, y subsecuentemente, la toma de decisión completa en tema sensibles, las empresas y gobiernos buscarán ahorros y eficiencias, el problema es que pocos, durante la arquitectura del proyecto y sus alcances consideran un proceso para detecta y minimizar errores.
Si Michigan hubiera piloteado el proyecto lentamente, sin darle total autoridad a un sistema automatizado y también crear procesos fáciles para apelar con un humano y optimizado rapidamente, el gobierno no tendria miles demandas por daños.
La ética en la automatización debe permear en todas las etapas. Los gobiernos y organizaciones que lo implementen deben crear politicas que asi lo requiera. El darle todo el poder a un algoritmo imperfecto (creado por humanos) sin tener mecanismos para detectar errores y sobre todo la transparencia de ver cuando esto suceda es abrir una caja de pandora que no se podrá cerrar, generando pérdidas y daños a ciudadanos y organizaciones.
Me gustaría escuchar tu opinión.
Hasta la próxima, Manuel.
:quality(70)/s3.amazonaws.com/arc-authors/elfinanciero/d6d97591-01ec-42fc-85cc-779219908b6a.png)