Transformer Architecture：从 Token Embedding 到训练循环

Mon, 14 Sep 2026 10:25:02 +0200

Transformer 看起来由许多组件组成，但一条 GPT 风格的前向路径可以概括为：

Token IDs
   ↓
Token Embedding + Position Embedding
   ↓
[LayerNorm → Self-Attention → Residual]
   ↓
[LayerNorm → FFN → Residual]
   ↓
重复多个 Transformer Blocks
   ↓
Final LayerNorm → LM Head
   ↓
Next-token logits → Cross-Entropy Loss

本文从一个简单的 GPT 实现出发，沿着数据流解释每一步的作用和张量形状。完整源码放在文章最后，读完前面的原理后可以结合代码对照理解。

深度学习 on Blowing in the wind

Transformer Architecture：从 Token Embedding 到训练循环