Arquitectura de red neuronal basada en el mecanismo de "atención" (attention), que permite procesar secuencias completas en paralelo y ponderar la relevancia de cada palabra respecto a las demás. Es la base de prácticamente todos los LLMs modernos.
En AIF-C01 (Dominio 1) aparece como concepto fundamental detrás de los foundation models, sin requerir profundidad matemática. Pregunta: ¿qué arquitectura hizo posible el salto de calidad de los LLMs modernos frente a redes recurrentes anteriores? Transformer.