Pozornost
Starší sítě četly text slovo po slově a na začátek věty často „zapomněly“. Transformer se podívá na všechna slova najednou a u každého slova vyhodnotí, která další slova jsou pro něj důležitá. Ve větě „Kočka nevyskočila na stůl, protože byla unavená“ tak ví, že „byla“ se týká kočky.
Paralelní trénování
Protože transformer zpracovává text najednou, dá se trénovat na tisících grafických karet současně. Díky tomu mohly vzniknout obrovské modely trénované na velké části internetu.
Nejen text
Transformery dnes zpracovávají i obrázky, zvuk, video a proteiny. Na stejném základě stojí chatboti i generátory obrázků.