krat-tech

2017A mesterséges intelligencia kora

Transformer

A transformer egy neurálishálózat-típus, amelyet 2017-ben a Google nyolc kutatója mutatott be az „Attention Is All You Need” című tanulmányban. Szinte az összes mai nyelvi modell alapja. A GPT rövidítésben a T betű éppen a transformert jelenti.

Figyelem

A régebbi hálózatok szóról szóra olvasták a szöveget, és a mondat elejét gyakran „elfelejtették”. A transformer egyszerre nézi az összes szót, és minden szónál kiértékeli, mely más szavak fontosak számára. Abban a mondatban, hogy „A macska nem ugrott fel az asztalra, mert fáradt volt”, így tudja, hogy a „fáradt volt” a macskára vonatkozik.

Párhuzamos tanítás

Mivel a transformer egyszerre dolgozza fel a szöveget, több ezer grafikus kártyán tanítható párhuzamosan. Ennek köszönhetően jöhettek létre az internet nagy részén betanított óriási modellek.

Nem csak szöveg

A transformerek ma képeket, hangot, videót és fehérjéket is feldolgoznak. Ugyanerre az alapra épülnek a chatbotok és a képgenerátorok is.

Menü

Amivel foglalkozom

Minden szolgáltatás
Mini WikipédiaA technika fejlődése, 236 cikk

Friss tech hírek

Összes hír

Népszerű

Wiki-kategóriák

Minden cikk

Megjelenés

↑↓ kiválasztásEnter megnyitásEsc bezárás