¿Cuáles son las razones teóricas que explican que un algoritmo de inteligencia artificial (IA), tome ciertas decisiones y no otras? El tema no es trivial ya que, en la práctica, estas razones son las que llevan a que ese algoritmo se incline por un candidato y no otro, en un proceso de adjudicación de un crédito bancario, por ejemplo. También pueden inclinar la balanza a favor de un candidato y no de otro, en el contexto de una selección laboral para un puesto de trabajo.

Conscientes de que los algoritmos tienen una repercusión cada vez mayor en el día a día de las personas, que existen decisiones sensibles y que muchas veces es un misterio por qué toman ciertas determinaciones, Bernardo Subercaseaux (24), estudiante de magíster en Computación en la U. de Chile, se decidió a estudiar en profundidad este tema.

Ingeniero en Computación de esa misma casa de estudios, Bernardo Subercaseaux es parte del Instituto Milenio Fundamentos de los Datos (IMFD). Y junto a los investigadores Pablo Barceló, Jorge Pérez y Mikaël Monet -todos del IMFD-, desarrollaron una investigación sobre este tema que dio origen al paper llamado Model Interpretability through the lens of Computational Complexity. Dicho trabajo fue aceptado en la conferencia NeurIPS2020, una de las más importantes en el área de machine learning, que se realizará entre el 6 y el 12 diciembre, de manera virtual.

El tema lo había abordado antes, en su tesis de magíster que realizó en la U. de Chile. “Llevamos harto tiempo en esta línea de trabajo junto con Pablo Barceló y Jorge Pérez. Intentamos entender los fundamentos de ciertos problemas relacionados a IA. Considerando el impacto que están empezando a tener los modelos de IA en la vida de la gente, con las decisiones que se toman en salud, en el área bancaria -para determinar si realizan préstamos o no-, o incluso en el sistema judicial, pareciera que es muy importante entender qué está pasando detrás, tener fundamentos claros y sólidos de cómo funcionan estas cosas”, afirma Bernardo Subercaseaux.

Debido al auge que están teniendo algunos modelos de IA, investigadores a nivel mundial están abogando por el uso de modelos interpretables en decisiones sensibles, por ejemplo, en el sistema judicial. Bernardo Subercaseaux cita un artículo de la científica estadounidense Cynthia Rudin al respecto, que plantea que es inadmisible usar modelos poco transparentes (black box models) en aplicaciones de alto impacto, ya que la mayoría de los métodos que se proponen explicar esos modelos transparentes tienen falencias.

“En mi tesis menciono unos ejemplos que sucedieron en Estados Unidos, donde el sistema judicial ha mandado gente a la cárcel incorrectamente bajo sesgos racistas, incluso, debido a estas decisiones. En mayor o menor medida estamos todos súper sujetos a lo que está pasando y los riesgos que ello implica”, dice el autor del artículo.

“No todos los modelos de IA son iguales. Hay algunos que son más fáciles de interpretar que otros, es decir, ver por qué está decidiendo lo que está decidiendo, y poder inspeccionar buscando distintos tipos de sesgos en él. Nuestro trabajo va en esa línea: darle sustrato teórico a esa idea que está en el imaginario colectivo, de que hay modelos que son más interpretables que otros”, explica, sobre el trabajo Model Interpretability through the lens of Computational Complexity.

Esos modelos son, por ejemplo, las redes neuronales y los modelos de IA lineales. “Uno de nuestros hallazgos tiene que ver con aquellos modelos ‘opacos’ o menos transparentes, según la sabiduría popular, como las redes neuronales. Efectivamente, desde nuestro análisis teórico estos son menos interpretables o transparentes que los modelos lineales, que resultan más fáciles de entender”, señala el joven investigador.

Avances legislativos

Un antecedente importante en este sentido es el Artículo 22 del Reglamento General de Protección de Datos (GDPR, por sus siglas en inglés), vigente en Europa. Este reglamento norma la protección de las personas en relación al tratamiento de sus datos personales y a la libre circulación de estos datos. “Este artículo limita el sometimiento de individuos a procesos de decisión automática”, explica el coautor del paper.

“Según algunos autores, esta ley de protección de datos garantiza a los ciudadanos un ‘derecho a la explicación’, en relación a las decisiones que los sistemas inteligentes toman basándose en sus datos. Llevar eso a la práctica requiere poder determinar cuáles modelos son más interpretables, y en ese contexto se enmarca nuestro trabajo”, añade Bernardo Subercaseaux.

Actualmente, él junto a los otros autores del paper se encuentran trabajando en un segundo artículo sobre fundamentos para lenguajes diseñados para tareas de interpretabilidad y detección de sesgo.

ber--
Texto: Comunicaciones Instituto Milenio Fundamentos de los Datos (IMFD).