Hace varias décadas, obtener un préstamo personal en el banco era un proceso tan ceremonial como hoy lo es ir a una entrevista de trabajo. Uno debía ir con su mejor traje, y bien arreglado, armado de los papeles necesarios para mostrar que uno era un hombre de recursos porque claro que a una mujer jamás le darían un préstamo. Uno debía tener una buena reputación en la sociedad y más que nada uno tenía que conocer a las personas adecuadas. No es de asombrarse entonces, que los receptores de estos préstamos eran ya parte de una clase social previamente acomodada que podía usar esos recursos para mejorar aun más su situación social. Claramente personas de clases bajas, sin los contactos o recursos adecuados, jamás podrían tener acceso a un préstamo bancario y resultaría aún más difícil su movimiento social.
Sin embargo, hoy, gracias a la automatización, el acceso a productos crediticios se ha democratizado de una manera increíble, y tener un préstamo, muchas veces se puede reducir a unos cuantos clicks en una aplicación móvil. Hoy en día, las personas de raza negra en Estados Unidos, históricamente oprimidos, tienen tanto acceso a créditos como las personas blancas tenían en el 2000, aún no hay una paridad, pero ya hay mucho mayor acceso y facilidades. Se puede decir, sin temor a equivocarse, que la Inteligencia Artificial ha logrado democratizar la industria financiera.
El gran problema de este tipo de sistemas automatizados y de Inteligencia Artificial que se dedican a dar créditos a las personas, es que, en ocasiones, es difícil determinar qué factores fueron los que influyeron en la decisión de dar o no una tarjeta, o dar o no un crédito. Muchas veces estos sistemas son sumamente sofisticados y es difícil saber la atribución de las diferentes variables en la toma de cada decisión. En alguna ocasión puede ser el ingreso, mientras que en otra puede ser la actividad en la cuenta de tarjeta de crédito. Muchas veces es una combinación de variables lo que llevó a una decisión.
Al hecho de conocer los factores que influyen en la toma de decisiones, por parte de un agente de IA, se le denomina explicabilidad. Es la capacidad de poder determinar los valores de las variables que determinaron la decisión final del modelo. Y tener un modelo explicable nos permite decirle al cliente qué variables y con qué nivel fueron las que influyeron en la decisión final.
Entonces, la explicabilidad se convierte en parte fundamental de cualquier sistema de IA que desee desplegarse con interacciones con seres humanos. En un banco, de acuerdo con algunas regulaciones, tenemos que ser capaces de decirle al cliente la razón por la cual se le niega un crédito, y es en ese caso que no podemos delegar dicha decisión simplemente al sistema de IA. Más aún si el sistema es muy complejo y con múltiples capas de procesamiento. Debe de haber un agente humano capaz de interpretar lo que la IA está mostrando.
Y la realidad es que la explicabilidad, muchas veces, requiere de modelos más complejos para poder implementarse, y resulta cada vez de una habilidad más y más necesaria para los Científicos de Datos poder tener bajo el brazo herramientas que les ayuden a explicar los modelos que están ayudando a desplegar. Modelos que puedan auditar los modelos que ya están en producción.
Es tan crucial el tema de la explicabilidad, que incluso en la industria armamentista es crucial saber por qué un modelo puede elegir un objetivo o no, para estar seguro de que las variables que lo están llevando a tomar esa decisión sean las adecuadas para la situación que se esté presentando en ese momento.
En México aún no hay regulación al respecto de la explicabilidad, pero eso no quiere decir que los equipos no deberían estar implementando la explicabilidad en todos los modelos que está desarrollando. Esto en múltiples ocasiones ayuda a que el área del negocio pueda comprobar intuiciones que sólo la experiencia les había dado.
A medida que podemos mejorar la explicabilidad, podremos crear, incluso, productos y servicios nuevos que nos puedan ayudar a democratizar más aún las capacidades de la Inteligencia Artificial.