注意力机制
早期的神经网络逐字逐句地读取文本，常常“忘记”句子开头的内容。Transformer 则一次性看到所有单词，并针对每个词判断哪些其他词与它相关。比如在“那只猫没有跳上桌子，因为它很累”这句话里，它就能明白“它”指的是那只猫。
并行训练
由于 Transformer 一次性处理整段文本，它可以同时在成千上万块 显卡 上并行训练。正因如此，人们才得以训练出用互联网上大量数据训练而成的超大规模模型。
不止是文本
如今 Transformer 也能处理图像、音频、视频乃至蛋白质数据。聊天机器人 和 图像生成工具 都建立在同样的基础之上。