优化器与学习率：步子大小的学问

01照账改钱

上一课说清楚了分工：反向传播只算账——它交出每颗参数的悔意清单（梯度）；优化器是出纳，照账改钱。改法朴素到只有一行：

w ← w − lr × grad

每颗参数 w，沿着负梯度方向挪一小步，步长就是梯度乘以学习率（learning rate，lr）。梯度说方向和急迫感，学习率拍板步子多大——本课的主角就是它。

02步子大了会怎样

直觉说步子大走得快？山谷不吃这套。步子太大，一步跨过谷底踩到对面坡上，下一步又弹回来——过谷底而不入，来回横跳；倒霉起来越弹越高，loss 直接上天，这叫发散。步子太小，方向明明对，磨磨蹭蹭几百步还在半山腰。

03三胞胎赛跑

光说不练假把式。实验台里有三只同起点的孪生模型：同一份初始化（共享 seed）、同一份唐诗教材，唯一的差别是学习率——默认 0.01 / 0.1 / 1.0，对数刻度随便拖。一键同跑，三条 loss 曲线叠画进同一张图，谁先到底、谁来回横跳、谁磨蹭，一眼分明。训练完还能让三只各交一份作业，比比谁的诗更像诗。

04动量：给小球配惯性

更新公式还有个常配的加项：上次步子的余温。w ← w − lr × (momentum × 上次步子 + 梯度)。想象雪球下坡：哪怕滚进一处小坑，身后的惯性也能推着它碾过去继续下行——动量（momentum）攒的就是这份惯性。它在平坦段攒速度、在震荡段互相抵消，常常让收敛又稳又快。

别信文字，信实验：给某条轨道拧上动量开关再跑一轮，亲眼对比。

05现实中的 Adam

真实训练几乎不用裸 SGD：主流是 Adam 系优化器——它给每颗参数自适应调步长（梯度常来的参数步子小、少见的参数步子大），再叠加本课这两个直觉（学习率上限 + 动量惯性）。本站引擎用的是最朴素的 SGD + 动量，因为本课要让你看清水温、水深之前不加料；你在这里养成的手感——盯曲线形状辨 lr、给惯性开关——到 Adam 时代全部平移过去，一句数学都不用新增。