En la International Conference on Learning Representations (ICLR), que se realizó de manera virtual entre el 26 de abril y el 1 de mayo, el profesor Jorge Pérez presentó tres papers referentes a Inteligencia Artificial (IA). Esta conferencia es mundialmente reconocida por presentar y publicar investigaciones de vanguardia sobre todos los aspectos de aprendizaje automático, aprendizaje profundo, estadística en IA y la ciencia de datos, así como importantes áreas de aplicación.
"Predicting unplanned readmissions with highly unstructured data", es el primer paper publicado en el workshop "AI for Affordable Healthcare", que presentó el profesor Jorge Pérez junto a Constanza Fierro, estudiante de postgrado del DCC y Javier Mora, Cirujano cardiovascular, de la Clínica Las Condes. Este paper trata de predecir cuándo un paciente tendrá que re-hospitalizarse después de que lo han dado de alta. “Mostramos cómo lograr una predicción desde datos altamente no estructurados, en comparación con modelos anteriores. Si bien la idea inicial era aplicar estas técnicas en hospitales públicos, nunca pudimos tener acceso a los datos y finalmente lo aplicamos a datos entregados por la Clínica Las Condes, donde el comité de ética y el personal médico y técnico fueron un gran apoyo”, destacó el profesor Pérez.
Este artículo, propone una arquitectura de aprendizaje profundo para predecir reingresos no planificados que consumen datos que están significativamente menos estructurados en comparación con modelos anteriores. “Lo que usamos para presentar los primeros resultados de esta investigación fue un gran conjunto de datos clínicos que se compone de diez años de registros en un centro médico chileno. En este conjunto de datos, nuestro modelo logra resultados que son comparables a algunos de los más recientes obtenidos en los centros médicos de Estados Unidos”, explicó el profesor.
A su vez, el profesor Jorge Pérez presentó en el workshop "Practical ML for Developing Countries", el paper "Spanish Pre-trained BERT Model and Evaluation Data", el cual trata el tema de generar modelos de alta precisión para el procesamiento automático de lenguaje natural, en particular, modelos basados en auto-atención neuronal. Este trabajo fue realizado junto a los estudiantes del DCC José Cañete, Gabriel Chaperon y Rodrigo Fuentes, además de los estudiantes Hojing Kang y Jou Hui Ho, del Departamento de Ingeniería Eléctrica, todos de la Universidad de Chile.
El profesor Pérez explica que los modelos de lenguaje pre-entrenados basados en auto-atención han mejorado enormemente la accesibilidad del usuario promedio a modelos de alto rendimiento. "En esta investigación pre-entrenamos con éxito un modelo solo en español y de código abierto junto con el corpus de capacitación y los puntos de referencia de evaluación para que la comunidad pueda utilizarlo".
Dentro de las proyecciones de este trabajo esperan que al lanzar el modelo BERT en español, se logre consolidar esta investigación y las aplicaciones de técnicas de aprendizaje profundo en países de habla hispana. Además otra dirección del trabajo, es mejorar los modelos españoles de procesamiento natural del lenguaje (PNL) en términos de tamaño y memoria y requisitos de cálculo.
En tanto, el tercer artículo publicado en la sesión principal de la International Conference on Learning Representations (ICLR), se titula "The Logical Expresiveness of Graph Neural Networks". Este paper fue escrito junto a los investigadores Pablo Barceló y Juan Reutter, de la Pontificia Universidad Católica; Egor V. Kostylev, de la Universidad de Oxford; Mikaël Monet, del Instituto Milenio Fundamentos de los Datos y Juan Pablo Silva, estudiantes de pregrado del DCC.
Las "Graph Neural Networks" (GNNs), son una nueva forma de procesar datos con redes neuronales artificiales (NNs), en donde la entrada de la red sí tiene estructura. Esta estructura está dada en forma de grafo de datos conectados, o sea, la entrada es otra red. “En la práctica las GNNs han resultado muy útiles para procesar datos biológicos, redes sociales y hasta las han usado en AlphaStar. Pero en la teoría se sabe muy poco y obvio que es muy difícil explicar lo que hacen una vez entrenadas”, destacó el profesor Jorge Pérez.
En esta investigación, se entregan ciertas ideas para entender el poder expresivo de las GNNs, o sea, qué cosas pueden y cuáles no pueden hacer, o aprender. Esto se realiza desde el punto de vista de la lógica computacional clásica. “Uno de nuestros resultados principales de este trabajo señala que las GNNs más usadas en la práctica son equivalentes a lo que pueden expresar ciertas lógicas de representación de conocimiento, uniendo así dos áreas bien disímiles de Inteligencia Artificial.
--
Comunicaciones DCC
