Aufmerksamkeit
Ältere Netze lasen einen Text Wort für Wort und „vergaßen“ oft den Satzanfang. Der Transformer betrachtet alle Wörter gleichzeitig und bewertet bei jedem Wort, welche anderen Wörter für es wichtig sind. Im Satz „Die Katze sprang nicht auf den Tisch, weil sie müde war“ weiß er so, dass sich „sie“ auf die Katze bezieht.
Paralleles Training
Da der Transformer den Text auf einmal verarbeitet, kann er auf Tausenden Grafikkarten gleichzeitig trainiert werden. Dadurch konnten riesige Modelle entstehen, die auf einem großen Teil des Internets trainiert wurden.
Nicht nur Text
Transformer verarbeiten heute auch Bilder, Audio, Video und Proteine. Auf derselben Grundlage beruhen Chatbots und Bildgeneratoren.