Charla: "Densidad de supervisión en Transformers"
Cinthia Sánchez, investigadora postdoctoral del Centro Nacional de Inteligencia Artificial (CENIA).

Fecha: miércoles 25 de noviembre.
Lugar: OpenBeauchef, 2.º piso, Edificio Poniente, B.851.
Hora: 12:30 horas.

Resumen de la Presentación

Al entrenar un Transformer en una tarea, debemos decidir qué posiciones de la secuencia participan en la función de pérdida (loss) de predicción del siguiente token (next-token prediction). Por ejemplo, podemos supervisar toda la secuencia o únicamente el token de respuesta. ¿Cómo condiciona esta elección la solución que aprende el modelo?

En esta charla estudiaremos esta pregunta a través de la tarea de variable binding multi-hop (a=7, b=a, c=3, d=b → ¿d?), entrenando modelos Transformer decoder-only desde cero con distintas densidades de supervisión, es decir, variando la fracción de tokens supervisados.

Veremos cómo esta decisión afecta la dinámica de convergencia, la generalización a programas más largos y con más saltos, y los mecanismos internos que el modelo desarrolla para resolver la tarea.

  • Tags

Lugar
OpenBeauchef, FCFM, Universidad de Chile

Dirección
Av. Beauchef 851, Edificio Poniente, Piso 2, Santiago

Fecha del evento
25 de Noviembre de 2026
12:30 - 13:30

Organizador
Grupo de investigación RELELA
fbravo@dcc.uchile.cl
+56229784974