Arquitectura Transformer y Mecanismo de Atención
El mecanismo de autoatención (Self-Attention) permite que el modelo evalúe la importancia de diferentes palabras en una frase al procesar cada una de ellas. Esto soluciona los problemas de memoria a largo plazo que afectaban a las arquitecturas recurrentes precedentes.
