01
Enter through your question
Read from C01, or jump to Transformers, attention, or code and follow the links back to the needed bridges.
enPublic AI course · Ongoing
Understand Transformers, starting with the next token.
Why can a model write one token at a time? Follow one real generation through input, vocabulary, probability, training, attention, Transformers, and finally GPT.
29 lessons availableRead and experiment
DThe Road to the Next Token
Start at C01You will cover
P0 · 开场：为何一个字一个字吐
C01 · 机器怎样读一句话，又怎样写出下一块？
P1 · 世界一：猜下一个字（表）
C04 · 词表是怎样造出来的？
P2 · 世界二：旋钮怎样自己学会拧
C09 · 固定表不够用：先造一台可调分数机
P3 · 世界三：看远处
C15 · Token ID 没有意义，Embedding 怎样学出位置
P4 · 世界四：Transformer 骨架
P5 · 世界五：自造小 GPT
P6 · 世界六：训得像回事
P7 · 世界七：从小 GPT 到当代助手
First stop
C01 · 机器怎样读一句话，又怎样写出下一块？
文字切分 → Token ID → 下一 Token 分布 → 自回归循环 → 训练损失
This lesson asks
机器怎样读一句话，又怎样写出下一块？
Course map
The Road to the Next Token
Follow one real generation through tokens, probability, training, RNNs, attention, and Transformers.
8
Course parts
41
All lessons
29
Available now
12
In progress
P03/3
P0 · 开场：为何一个字一个字吐
正确问题 + 路线 + 数字直觉
Start hereP15/5
P1 · 世界一：猜下一个字（表）
先造一台像极简输入法联想的透明语言模型，再看清 GPT 升级了哪里
Start hereP26/6
P2 · 世界二：旋钮怎样自己学会拧
从可调分数到损失、梯度与神经网络猜字
Start hereP36/6
P3 · 世界三：看远处
词向量、RNN、翻译瓶颈与 Attention 的诞生
Start hereP49/9
P4 · 世界四：Transformer 骨架
自注意力、掩码、完整积木与出词闭环
Start hereP50/4
P5 · 世界五：自造小 GPT
训练、checkpoint、Model Pack
Start hereP60/4
P6 · 世界六：训得像回事
数据、BPE、中文链路
Start hereP70/4
P7 · 世界七：从小 GPT 到当代助手
规模化预训练、后训练、上下文学习与模型适配
Start hereHow to learn
See the question first, then go deeper.
02
Try the mechanism
Playgrounds use a small real model, real weights, and real intermediate values. Watch the numbers change with your actions.
en03
Keep your place
Every part has a question. Each lesson tells you what it solved and why the next one appears.
enStart now