交互课 · 全课完结 · 25 课全部上线
拆解大模型
把一个 14M 参数的真模型拆开看：25 课，从「文字怎么变成数字」一路拆到「把 24 课零件亲手拼回整机」。每课都有真权重交互，计算全部发生在你的浏览器里。
- 25 课已上线，收官拼装课 20–40 分钟，其余每课 15–30 分钟
- 真权重：pythia-14m（28.1MB）+ albert chinese tiny（13MB）
- 零后端 · 不上传任何输入
路线五站总览
像坐地铁一样学：五站全部通车，25 课全部可点，终点站把整机拼回来。
层一入门层
文字怎么变成数字、数字怎么变成「下一个词」的概率——大模型的三块基石。第 3 课首次下载 28MB 真权重，之后全站复用。
- 01 Token：模型眼里的文字 输入一句话，看 Qwen / GPT-2 双词表现场 BPE 切分：逐 token 着色、id 与字节数对照，亲眼看「中文税」。
- 02 Embedding：每个词是一个向量 在预计算的 embedding 星系里拖拽缩放、hover 看近邻，再用 200 个词的真向量亲手算余弦相似度。
- 03 下一个词预测：模型唯一会的事 pythia-14m 真权重在你的浏览器里完成一次前向：输入英文句，看 top-k 概率条形图。
- 04 自回归生成：一个词一个词往下写 temperature 滑杆 + 逐 token 打字机生成，每一步都留下概率快照；A/B 对比「稳」与「飘」。
层二解剖层
拆开 transformer 的 7 个零件，用 pythia-14m 真权重看每一层每一头到底在算什么。顺序建议：5 → 11。
- 05 注意力：让每个词看别的词 单头注意力热图逐格看真值，打开「偷看未来」开关，看被因果掩码盖住的禁区如何被灰色斜纹标出。
- 06 多头注意力：四双眼睛各看各的 2×2 四头热图并排横扫 6 层；点开「中文对照」，用 albert 真权重做一次完形填空。
- 07 FFN：词与词之间的知识仓库 看一个 token 点亮 512 个神经元里的哪几个，再把最亮的那个关掉，预测立刻变脸。
- 08 归一化：给数值踩刹车 逐层 LayerNorm 前后统计仪表盘，再叠加「去掉 LN」的对照曲线，看数值一路发散。
- 09 位置编码：词序从哪来 转两片 RoPE 旋转盘（零权重可玩），再用真实 Q/K 内积验证「内积只看相对距离」。
- 10 残差流：128 维信息高速公路 看一个 token 沿 6 层「升天」：逐层热条演化，logit lens 让预测一层层成形。
- 11 组装：完整跑一遍真模型 架构总图 + 单步执行 + 全张量检查器：一个 token 从文本到 50304 个分数的全流程，逐站可查。
层三锻造层
预训练：模型怎么从一堆随机数被「练」成会说话。浏览器里真训练，5 课全部可点。
- 12 预训练在算什么：损失与交叉熵 你来当模型猜下一词，按 -log p 现场扣分；再看一条真训练损失曲线回放，读懂「陡降」与「磨蹭」。
- 13 梯度与反向传播：浏览器里真训一只模型 手写 forward+backward 的字符级微模型现场开训，loss 实时下降，生成从乱码到成形——不是动画，是你的 CPU 在真算。
- 14 优化器与学习率：步子大小的学问 同一只微模型三份学习率同步开跑，拖 LR 看发散、停滞与收敛；动量开关让雪球冲过小坑。
- 15 数据与缩放定律：token 预算账本 粘一段文字数真 token、换词表看「中文税」；拖参数滑杆现场算 Chinchilla 燃料账单。
- 16 检查点与训练轨迹：模型成长相册 拖时间轴翻微模型成长相册：六档快照真权重真前向，同一个问题听三种年龄的回答。
层四调教层
SFT / 奖励模型 / RLHF / DPO / LoRA：从会补全到会听话。4 课全部可点。
层五发力层
解码策略 / KV cache / 量化 / 推理栈全景：把模型跑起来的推理工程学；末班第 25 课把前 24 课零件拼成整机。5 课全部可点。
- 21 采样实验室完全体 温度 / top-k / top-p / 重复惩罚全参数四联屏，同一句 prompt 四套配置并行真生成。
- 22 KV cache：为什么要记笔记 无 cache 逐长度真测耗时曲线 + cache 解析对照（实测 / 解析双标注），KV 显存账现场算。
- 23 量化：给模型瘦身 pythia 权重现场 int8/int4 量化再前向：体积三级台阶、top-5 重合率、logits 散点当场对照。
- 24 从浏览器到服务器：推理栈全景 推理栈全景泳道走一遍 + prefill/decode 成本计算器 + 24 站毕业地图回访 + playground 毕业实验。
- 25 总结拼装课：24 课零件，拼成一台真模型 把前 24 课的零件拖上画布、拉线拼成 pythia-14m 完整计算图：运行逐层点亮，top-5 真采样，连跑 8 步，int8 量化件随拖随开。
附真调 API 试玩场
拿一个真 API key，把课里学的采样参数亲手拧一遍——contrast 交给云端大模型。