Técnica donde un modelo pequeño ("student") se entrena para replicar el comportamiento de un modelo grande ("teacher"), obteniendo un modelo más rápido y barato de operar con una pérdida de calidad controlada.
En AIF-C01 (Dominio 3) se ubica en el extremo de mayor esfuerzo de la escala de personalización, junto a pre-training: útil cuando se necesita reducir latencia/costo de inferencia manteniendo la mayor parte de la capacidad del modelo grande.