偏好与奖励：你来当标注员

01SFT 之后还差什么

上一课的岗前培训教了「该怎样」：问题后面接「答：」，语气客气，格式体面。可两个回答都守规矩时呢？一个啰嗦半天没重点，一个三句话说到点上——哪个更好？示范数据没说，SFT 也无从知道：它只会模仿，不会比较。

要教「更好」，得先有「更好」的记录。做法朴素：同一个问题，让模型生成两个回答，请人选一个。一対选择不多，百万対选择就是一座金矿——这叫偏好数据。下面你就坐上评委席。

02你来当标注员

标注的真实手感是这样的：两段回答并排，不告诉你谁写的，凭直觉选一个，下一对马上就来。别想太久——真实标注员一天要判几千对，靠的是第一反应。你的每一次点击都被记录：它就是你偏好的原始数据。

投几票之后注意看下方：有个东西正在悄悄成形。

03你的奖励模型

那个成形的东西叫奖励模型（Reward Model）：把「人爱哪个」压缩成一个可打分的函数。它的做法值得你看一眼——给每个回答提几个可数的特征（字数、自信词、谨慎词、具体数字），打分就是特征的加权和；两个回答的分差过一道 sigmoid，就是「A 胜 B」的预测概率。这是 Bradley-Terry 1952 年的老模型，今天仍是偏好学习的地基。

训练目标只有一句话：让你选过的每一对，模型都押你选的那个。每投一票，页面现场重新拟合一遍（真的梯度下降，不是查表）——你手里的排行榜就是这么一票一票长出来的。

04考考它

拟合完自家的分，该验货了。三对没投过票的新回答端上来：先让「你的 RM」押注，你再选。它押的和你选的一致吗？一致率就是「它有多懂你」。注意一个细节：测验没有标准答案——它量的不是「谁对谁错」，是「它猜不猜得中你」。

05RM 会学坏

最后一坑，亲手踩：如果你投票时偷懒——闭着眼全选长的那个，RM 会学成什么样？它会得出一条荒谬却完全自洽的结论：「人爱长的」。字数权重一柱擎天，排行榜按长度重排，测验时无脑押长。这不是 bug：它完美复现了你的偏好——包括你的偏见。真实的 RLHF 流水线里，这叫奖励模型的捷径学习，是「谄媚」与「啰嗦」问题的源头之一。