Atención
Las redes anteriores leían el texto palabra por palabra y a menudo «olvidaban» el principio de la frase. El Transformer mira todas las palabras a la vez y, para cada palabra, evalúa qué otras palabras son importantes para ella. Así, en la frase «El gato no saltó a la mesa porque estaba cansado», sabe que «estaba» se refiere al gato.
Entrenamiento en paralelo
Como el Transformer procesa el texto de una sola vez, se puede entrenar en miles de tarjetas gráficas a la vez. Gracias a ello pudieron crearse modelos enormes entrenados con una gran parte de internet.
No solo texto
Hoy los Transformers procesan también imágenes, sonido, vídeo y proteínas. Sobre la misma base se construyen los chatbots y los generadores de imágenes.