Una charla sobre la arquitectura de redes neuronales BERT y las últimas tecnologías desarrolladas para su optimización, titulada "More on Transformers: BERT and Friends" (http://tv.vera.com.uy/video/55388), ofreció el profesor del DCC e investigador del Instituto Milenio Fundamentos de los Datos (IMFD), Jorge Pérez, en Khipu 2019 (https://khipu.ai/), la conferencia sobre Inteligencia Artificial (IA) más importante realizada en América Latina.

En el evento llevado a cabo en Montevideo, Uruguay, el académico del DCC participó como conferencista invitado en la sesión sobre técnicas avanzadas de Procesamiento del Lenguaje Natural (NLP, por su sigla en inglés) junto a los investigadores Oriol Vinyals (Google DeepMind), Lucia Specia (Imperial College London) y Luciana Benotti (Universidad Nacional de Córdoba).
“BERT (Bidirectional Encoder Representations from Transformers) (https://arxiv.org/abs/1810.04805) es una arquitectura moderna de redes neuronales basada sobre otra llamada ‘Transformer’, que hemos estudiado en detalle con mi grupo de investigación en el DCC y el IMFD (https://arxiv.org/abs/1901.03429)”, explicó el profesor Jorge Pérez, quien destacó que “la mayor característica de BERT es su capacidad para ‘pre-entrenarse’ de manera no supervisada con grandes cantidades de texto y luego adaptarse, con muy poco esfuerzo, para resolver múltiples tareas de procesamiento de lenguaje natural”.

El académico del DCC explicó que, desde que BERT fue propuesto y salió a la luz a fines de 2018, diversos grupos de investigación lo han mejorado por medio de cambios a la forma en que se pre-entrena.

“Si bien, la mayoría de estas modificaciones han sido simples, en algunos casos, sobre todo para estudiantes e investigadores que están iniciándose en el tema, se hace difícil comprenderlas a cabalidad con solo leer artículos de investigación. Por eso quise compartir un punto de vista más intuitivo sobre BERT y mejoras desarrolladas en su arquitectura, como RoBERTa, XLNet, ALBERT y ELECTRA”, precisó Jorge Pérez, quien destacó que estas tecnologías han superado incluso a humanos en tareas de procesamiento de lenguaje, como inferencia, reconocimiento de entidades en texto y respuestas a preguntas sobre comprensión de lectura”.

Consultado acerca de los reacciones tras su presentación, el profesor Jorge Pérez afirmó que varios asistentes se acercaron para comentarle  que “por fin habían podido entender cómo funcionaba BERT”. “Fue muy satisfactorio porque creo que esa es la idea de Khipu: poder acercar estos temas avanzados a tanta gente como sea posible en Latinoamérica. Además, recibí varios correos pidiendo autorización para replicar mi charla. Entre ellos, me llamó la atención el de un ingeniero coreano interesado en traducirla a su idioma para poder mostrarla a más personas”, relató.

(Subtítulo)
Oportunidades de colaboración

Junto al profesor Jorge Pérez asistieron a Khipu 2019 los estudiantes de postgrado del DCC e investigadores del IMFD, Mauricio Quezada, Camilo Garrido, Sebastián Donoso, Jose Cañete y Juglar Diaz; y los alumnos de postgrado del Departamento de Ingeniería Eléctrica (DIE), Mauricio Romero y Rodrigo Carrasco.

“Sin duda, participar en esta conferencia organizada por Ingenieros y científicos de Google DeepMind (https://deepmind.com/) fue una excelente oportunidad para ellos”, aseguró el profesor Pérez, quien recordó que el objetivo principal de Khipu es funcionar como una especie de escuela para estudiantes de postgrado e investigadores jóvenes de la región con sesiones de posters y charlas que este año estuvieron a cargo de invitados como el ganador del Turing Award 2019, Yoshua Bengio (https://mila.quebec/en/yoshua-bengio/) y el vicepresidente senior (SVP) de Google AI, Jeff Dean (https://ai.google/research/people/jeff/).

Finalmente, el académico destacó que surgieron dos oportunidades muy interesantes de colaboración durante la conferencia. La primera, nació de conversaciones con académicos de la Universidad de la República de Uruguay y podría dar pie a un programa de Maestría en Datos y Aprendizaje Automático a nivel latinoamericano. La segunda, relacionada con aunar fuerzas para generar un repositorio para investigadores de habla hispana, dado que la mayor parte de los resultados de BERT están en inglés. Sobre este punto, Jorge Pérez adelantó que junto a sus  estudiantes se encuentra pre-entrenando una versión en español de BERT (https://github.com/dccuchile/beto), “que será liberada para que todo Latinoamérica la pueda ocupar”, concluyó.

Puedes ver el video de la charla acá (http://tv.vera.com.uy/video/55388) y las slides en este enlace (https://bit.do/BERT)

--

Comunicaciones DCC