第 4 章 · LLM 是怎么"学会"说话的

上一章拆开 Transformer 时，我们反复提到一个概念： FFN（前馈网络）里面存着模型的"世界知识"。 那一章的原话是—— FFN 是一张以"模式"为键、以"语义修改"为值的键值表， 模型读过的几百亿句话，最后都变成了这张表里的条目。

但那张表里的数字不是程序员手动敲进去的， 它们是自己"长"出来的。

这一章讲的就是：这些数字是怎么长出来的。 这并非无关紧要的工程背景—— 一个大语言模型为什么会懂常识、为什么有时会一本正经地胡说八道、 为什么默认总是一副客客气气的"助手腔调"、又为什么遇到敏感话题会突然拒绝回答， 所有这些脾气，都是在训练管线的不同阶段被一层一层刻进去的。

看懂了这条流水线，你看到模型吐出的每一句话时， 就能立刻分辨出：这是它脑子里的知识在说话，还是它后天学到的规矩在说话。

章节概要

• 从零开始：一个刚出生的 Transformer 所有参数都是随机数，它对人类世界一无所知
• 第一阶段：预训练（Pre-training）——通过几万亿次"遮住下一个词硬猜"的填空游戏，从随机数里长出语法、事实与推理能力，但它只会"续写"，不会"对话"
• 第二阶段：监督微调（SFT）——用人类编写的问答范例，把模型从"无目的的文本接龙机器"改造成"听得懂指令的答题者"
• 第三阶段：偏好对齐（RLHF 与 DPO）——引入人类的价值观与品味裁判，塑造模型的语气风格与安全边界
• 三层人格的真相：为什么说"知识几乎全在预训练，微调和对齐只是一层薄薄的面具"

一、从一堆随机数开始

在第 3 章观察那句没写完的「小李昨天买了一只小猫，今天它就把家里的沙发抓」时，我们默认了一件事：机器里所有的参数都已经就位了。 embedding 表里「猫」和「狗」已经挨得很近， attention 里的 Q、K、V 牌子已经知道怎么把「它」和「小猫」配成一对， FFN 的键值表里已经存好了"猫喜欢抓挠家具"的常识， 所以模型才能在「抓」字之后，稳稳地给「坏」打出 0.61 的最高概率。

但如果把时间倒回这台模型刚刚被创建出来的第 0 秒，它里面装的全是毫无意义的随机数。

不管是 70 亿参数还是上万亿参数， 在训练开始前，工程师做的第一件事就是用随机数发生器， 往这几百亿个格子里填满正态分布的随机小数——比如 0.014、-0.023、0.007。

这时候把「小李昨天买了一只小猫，今天它就把家里的沙发抓」喂给这台刚出生的婴儿模型， 在它眼里，词表里那几万个 token——「坏」、「炒」、「量子」、「西红柿」、「的」—— 算出来的概率全都平摊在几万分之一上下，彼此没有任何区别。 它不知道猫是活物，不知道沙发能被抓破，甚至不知道中文句子里主语后面该跟动词。 它吐出来的只是一串像乱码一样的随机字符。

把这样一团随机噪音，锤炼成今天能写代码、能做数学题、能流畅对话的智能体， 靠的是一条分为三个阶段的现代工业流水线：

预训练（Pre-training） → 监督微调（SFT） → 偏好对齐（RLHF / DPO）

这三个阶段花的钱、喂的数据、改的东西完全不同。 我们一个一个拆开看。

二、第一阶段：预训练——暴读万卷书

整个训练过程里最烧钱、最耗时、占去 95% 以上算力的阶段， 就是预训练（Pre-training）。

预训练的核心动作其实非常朴素：

把互联网上能找到的所有人类文本收拢过来，每次遮住下一个词，让模型猜。猜错了就扣分改参数，猜对了就继续猜下一个。

没有人工标注，不需要语言学家给句子划主谓宾， 就只是把"猜下一个词"的填空游戏，放在几万亿 token 的规模上硬做一遍。 这种直接拿文本自身的前后顺序当标准答案的训练方式，叫做自监督学习（Self-Supervised Learning）—— 因为标准答案就在原文里，根本不需要人类老师事先去批注。

严厉的红笔：误差是怎么变成知识的

具体来看一轮训练是怎么发生的。 假设训练语料里正好有我们熟悉的那句话：

小李昨天买了一只小猫，今天它就把家里的沙发抓坏了。

训练系统把「坏」和后面的字先藏起来， 只把「小李昨天买了一只小猫，今天它就把家里的沙发抓」递给刚出生的模型，让它预测下一个 token。

整个过程分三步走完：

第一步：盲猜（前向传播）。 模型硬着头皮把这句话过了一遍满是随机数的 attention 和 FFN， 最后吐出一张概率表：

• 「炒」：0.0001
• 「飞」：0.0001
• 「坏」：0.0001
• ……

第二步：批改扣分（计算损失函数 Loss）。 这时候，训练系统手里拿着真实的原文，知道标准答案是「坏」。 它像一位铁面无私的阅卷老师，掏出红笔只看一件事： 你给唯一正确的答案「坏」，分配了多大的概率。

• 如果模型给「坏」分了 0.99 的概率，说明猜得很准，扣分（Loss）接近于 0；
• 现在模型只给「坏」分了 0.0001 的概率，把剩下的 0.9999 全撒在了错误的词上，红笔立刻划下一个巨大的红叉——算出一个极高的 Loss（损失值）。

这位阅卷老师有一个关键脾气： 它根本不关心你在错误答案里选了谁，它只盯着正确答案那一项的概率有多高。 只要「坏」的概率不够高，哪怕你猜了意思相近的「破」，照样要挨罚—— 直到在成千上万句类似的语境下，「坏」占了六成、「破」占了两成，整体分布和人类真实语料的统计规律严丝合缝为止。

交叉熵损失（Cross-Entropy Loss）

阅卷老师手里的那支红笔，在数学上是一个极其简洁的公式——负对数似然（Negative Log-Likelihood），在分类任务里通常称为交叉熵损失：

$$\mathcal{L}=-\log P(w_t\mid w_1,w_2,\dots ,w_{t-1})$$

其中 $w_t$ 是原文里真实出现的下一个 token（比如「坏」），$P(w_t\mid w_{<t})$ 是模型在当前参数下给这个正确 token 算出的概率。

看一眼对数函数 $\log$ 的曲线就能明白它有多狠：

• 当模型给正确答案算出的概率 $P=1$ 时，$\mathcal{L}=-\log (1)=0$，零惩罚；
• 当 $P=0.5$ 时，$\mathcal{L}\approx 0.69$；
• 当 $P=0.0001$ 时，$\mathcal{L}\approx 9.21$，惩罚急剧飙升；
• 当 $P\to 0$ 时，惩罚直接冲向正无穷大（$+\mathrm{\infty }$）。

整个预训练的唯一数学目标，就是在几万亿个 token 上，把所有位置的 $\mathcal{L}$ 平均下来压到最低。

第三步：顺藤摸瓜改参数（反向传播与梯度下降）。 挨了红叉之后，微积分里的链式法则允许系统顺着刚才计算的路径倒着往回查账：

最后「坏」字的概率之所以这么低，是因为倒数第 1 层 FFN 里那几个负责"家具受损"的维度没亮起来； 那几个维度没亮起来，又是因为前面 attention 层里，「它」没有把注意力分给「小猫」和「沙发」……

查清责任之后，优化器（Optimizer）会沿着能让 Loss 变小的方向， 把全模型里这几百亿个参数同时轻轻拧动极其微小的一点点（比如加减 0.00001）：

• 凡是刚才帮着推高「坏」字概率的参数，全部奖励性地调大一点；
• 凡是把概率往「炒」和「飞」上引的参数，全部惩罚性地调小一点。

这一套"前向猜词 → 算 Loss → 反向查账 → 微调参数"的完整动作，叫做一个 训练步（Step）。

拧动一次，模型几乎没有任何肉眼可见的变化。 但当这个动作在成千上万张顶级 GPU 组成的集群上， 吞噬掉几万亿甚至十几万亿个 token、日以继夜地重复了几百万步之后—— 量变引发了惊人的质变。

为什么光是"猜下一个词"，就能长出常识与逻辑

很多人第一次听到预训练的原理时，都会产生一个强烈的怀疑： 模型只是在学文字接龙，为什么接龙接多了，反而会懂物理、懂历史、还能做逻辑推理？

OpenAI 前首席科学家 Ilya Sutskever 曾用过一个绝佳的比喻来阐释其中的道理。

想象你在读一本侦探小说。 小说的前九十九页铺陈了所有案件细节、人物不在场证明、凶器特征与作案动机， 到了第一百页的最后一行，侦探指着众人说：

「所以，真正的凶手就是——」

现在，这本小说被送进了预训练。 模型要想把破折号后面的那个人名 token 猜对、要想不在这一题上被红笔狠狠扣分， 根本无法靠死记硬背常用词搭配蒙混过关。 它被迫要在那几十层 attention 和 FFN 里，把前九十九页的时间线、人物关系和物理常识全部推演一遍， 只有真正还原出推理链条，它才能在最后一个字上把概率押给正确的凶手。

这就是预训练最深层的秘密：

预测下一个词，表面上看是语言形式任务，但要想把预测准确率推向极限，模型别无选择，只能在内部参数里把驱动人类文字背后的那个"真实世界的规律"压缩并重建出来。

为了猜对「小猫把沙发抓__」，它必须在 FFN 里学会"猫有锋利的爪子、沙发是软质家具"； 为了猜对一段 Python 代码的下一行，它必须在内部学会变量作用域和语法树逻辑； 为了猜对棋谱的下一步，它甚至要在脑子里隐式地建出一张棋盘。

所谓"压缩即智能"，说的正是这件事。

预训练到底喂了些什么数据？

一个现代大模型在预训练阶段吞下的几万亿到几十万亿 token，绝不是随便从网上抓来的脏数据，而是一份经过极其严苛清洗与配比的"营养餐"，通常包括：

1. 经过清洗的网页文本（占比最大，约 60–70%）：以 Common Crawl 等公开网页抓取库为基础，但要经过几十道过滤工序——删掉广告、乱码、重复网页、机器生成的垃圾站，只留下高质量的人类文章。
2. 代码库（Code）（约 10–20%）：GitHub 等平台上的开源代码。研究界很早就发现了一个奇妙现象：哪怕你只打算训练一个写文章的模型，往预训练数据里掺入大量代码，它的长程逻辑推理能力也会暴涨。因为自然语言充满了省略和模糊，而代码是人类写下的逻辑最严密、因果跨越最长的文本。
3. 书籍与长文档：提供跨章节的叙事结构、人物塑造和深层论述能力。
4. 学术论文、数学教材与百科全书（如 arXiv、维基百科）：提供高密度的专业事实与严密的符号推导。

数据质量直接决定了模型的上限——在预训练工程里，"喂进去的是垃圾，长出来的就必然是垃圾"。

预训练的终点：博学却孤僻的"基座模型"

当预训练终于结束时，我们手里的这个产物叫做 Base Model（基座模型 / 预训练模型）。

它此时已经肚子里装满了人类文明的几乎全部公开知识， 但如果直接把它搬出来跟普通人聊天，它会表现得完全不会"回答问题"。

举个真实例子。如果你向一个纯粹的 Base Model 输入：

请问中国的首都是哪里？

你期望它回答「北京」。 但 Base Model 实际吐出来的文字，大概率是这样的：

请问日本的首都是哪里？ 请问法国的首都是哪里？ 请问英国的首都是哪里？ （参考答案见第 42 页）

原因在于，Base Model 从头到尾只学过一件事：顺着你给的文本，按互联网上最常见的样子往下续写。

在它读过的几万亿字网页里，一句「请问中国的首都是哪里？」最常出现在中学地理期末考试卷或者知识竞赛题库里。 而在题库里，第一道题后面紧跟着的当然是第二道题、第三道题，而不是答案。

所以 Base Model 并没有"坏掉"—— 它极其出色地完成了"续写一份地理试卷"的任务。 它只是根本不知道：当人类打出一行字时，人类不是让它接着往下编考题，而是希望它扮演一个"有问必答的助手"。

要让这位博学却只会接龙的书呆子学会"听令行事"，模型必须进入第二阶段。

三、第二阶段：监督微调（SFT）——教它听懂指令

第二阶段叫 Supervised Fine-Tuning（监督微调，简称 SFT）， 在很多地方也被称为指令微调（Instruction Tuning）。

如果说预训练是让模型在荒野里暴读了十万卷杂书， 那么 SFT 就是把它送进礼仪学校，上一门专门的对话规矩课。

从"无目的续写"到"一问一答"

在 SFT 阶段，工程师不再给模型喂杂乱无章的网页和试卷了， 而是换上了一批由人类专家（或更强模型辅助）精心编写的指令—回答标准范例（Prompt-Response Pairs）。

每一条训练数据都严格长成一问一答的对话形状：

【用户】：请用三句话向小学生解释为什么天空是蓝色的。 【助手】：太阳光看起来是白色的，其实里面藏着红橙黄绿蓝靛紫七种颜色的光。当阳光穿过地球大气层时，波长较短的蓝光特别容易撞上空气里的微小颗粒，被弹得满天都是。我们抬头看到这些被散射开的蓝光，天空就变成蓝色的啦！

【用户】：把下面这句话翻译成英文："我今天去超市买了一斤苹果。" 【助手】：I went to the supermarket today and bought a catty of apples.

有趣的是，SFT 底层用的数学算法，和预训练一模一样—— 依然是遮住【助手】后面的每一个词，让模型一个词一个词地猜，猜错了算 Loss、反向传播改参数。

但因为喂进去的数据彻底变了，模型学到的规律也随之改变： 它迅速意识到，只要看到【用户】发出了请求，轮到【助手】开口时， 高分答案永远是"直接解决用户的请求"，而不是"顺着用户的话再编几个问题"。

小数据撬动大能力

和预训练相比，SFT 有一个让人惊讶的特点：它需要的数据量和算力少得不可思议。

• 预训练：动辄需要 10 万亿 级别的 token，几千张显卡烧上好几个月；
• SFT：往往只需要 几万到几十万条 高质量问答对，几张显卡跑上几个小时到几天就够了。

之所以只靠几万条样本就能让模型脱胎换骨，是因为解释天空为什么是蓝色的光学知识、中英文翻译的词汇对应， 早在预训练阶段就已经刻进它的参数里了。 SFT 根本不需要教它任何新知识—— SFT 只是在模型内部修了一条"快捷通道"，告诉它：当人类用对话格式向你提问时，请把你肚子里原有的那些知识，按"助手回答问题"的格式掏出来。

SFT 的天花板：只会照猫画虎的"模范生"

做完 SFT 的模型已经能正常聊天、写文章、改代码了。 但它身上很快会暴露出两个让人头疼的毛病：

第一个毛病：不知道什么是"真正的好回答"，只会机械模仿表面形式。 因为 SFT 的红笔依然是按"逐字对齐标准答案"来扣分的， 模型为了少挨罚，最稳妥的策略就是死死模仿标注员最常写的行文套路—— 比如不管你问什么，它都先来一句「这是一个很好的问题！」，然后列出「1. 首先…… 2. 其次…… 3. 综上所述……」。 那股让人倒胃口的 AI 客服味与八股腔，很大程度上就是在这个阶段染上的。

第二个毛病：没有轻重缓急与安全边界。 在逐字预测的 Loss 眼里，把「北京」错答成「上海」，和教别人制造危险物品，或者在长篇大论里夹带一句致命的事实捏造， 都只是"猜错了几个 token"而已，惩罚力度没有任何本质区别。 模型分不清什么叫"有帮助但啰嗦"、什么叫"精炼而深刻"、什么叫"绝对不能碰的红线"。

要想教会模型分辨好坏高低，就不能再逼着它一字不差地背标准答案了—— 得让它自己先写几份草稿，再请一位人类裁判来给它打分。

这就是第三阶段：偏好对齐。

四、第三阶段：偏好对齐——塑造品味与边界

第三阶段在学术上叫 Alignment（对齐）—— 意思是让模型的行为偏好，与人类的价值观、审美习惯和安全要求"对齐"。

让你凭空写出一段"幽默、自然、富有洞察力的完美回答"，你可能咬着笔杆半天写不出来； 但如果把模型生成的两段回答 A 和 B 摆在你面前，让你挑出哪一段读起来更舒服、更有用， 你只需要三秒钟就能指出来。

人类不擅长每次都写出满分作文，但人类极其擅长"挑刺"和"二选一"。 偏好对齐的全部算法设计，都建立在人类这一认知特性之上。

经典路线：RLHF（人类反馈强化学习）

把这一思路变成现实并直接催生出 ChatGPT 的功臣，是 RLHF（Reinforcement Learning from Human Feedback，基于人类反馈的强化学习）。

它的核心流程分为两步：

第一步：先训练一个"替身裁判"（奖励模型，Reward Model）。 给刚刚做完 SFT 的模型抛出同一个问题，让它用不同的随机采样生成两份回答：回答 A 和 回答 B。 人类标注员坐在电脑前当评委，阅读这两份回答，然后投出一票：

• 回答 A 条理清晰、切中要害 → 胜出（Chosen）
• 回答 B 车轱辘话来回说、或者答非所问 → 落败（Rejected）

收集了几万到几十万组这样的"A 胜 B 负"对比数据后， 工程师用它们单独训练一个小模型，专门学习人类评委的打分品味。 这个小模型不负责说话，只负责输入一段问答、输出一个分数（比如 +3.2 分 或 -1.5 分）—— 它就是 Reward Model（奖励模型），相当于把人类评委的审美克隆成了一个全天候在线的自动裁判。

第二步：在裁判的注视下自我进化（强化学习，PPO 等算法）。 现在，真正的大语言模型上场了。 面对海量的新问题，模型自己生成回答，旁边的自动裁判立刻亮分：

• 如果这次生成的回答拿了高分，系统就调整参数，提高今后生成这类回答的概率；
• 如果拿了低分（比如说了废话、产生幻觉、或者触发了危险内容），系统就给它一记惩罚，压低今后往这个方向说话的概率。

经过这一轮强化打磨，模型的表现会发生肉眼可见的跃升： 它学会了在不知道的时候诚实承认，学会了按人类最舒服的阅读节奏组织语言，也学会了拒绝恶意指令。 当年 GPT-3.5 加上 RLHF 变成 ChatGPT 时能够震惊世界，靠的就是这临门一脚。

现代捷径：DPO（直接偏好优化）

但 RLHF 在工程上有一个著名的痛点：太折腾了。

为了训好一个语言模型，你得先训一个奖励模型， 在强化学习阶段还要同时在显存里塞进好几个模型副本（正在训练的模型、防止它跑偏的参考模型、打分的奖励模型、评估状态的值模型）， 稍有不慎，模型就会学会"钻裁判的空子"（Reward Hacking）——比如发现裁判喜欢长句子，于是拼命写毫无意义的漂亮废话来骗高分。

2023 年，斯坦福大学的 Rafael Rafailov 等人提出了一条极其优雅的数学捷径： DPO（Direct Preference Optimization，直接偏好优化）。

他们通过数学推导证明了一件惊人的事： 你根本不需要单独训练那个"替身裁判"，也不需要跑复杂的强化学习循环。 语言模型自己内部就已经隐含了奖励函数的结构。

因此，DPO 的做法干净利落到了极点： 直接把人类评委投出来的那批 {问题，好回答 A，差回答 B} 数据拿过来， 一步到位地修改语言模型自己的参数—— 拉高模型说出"好回答 A"的概率，同时压低它说出"差回答 B"的概率。

RLHF 的"防跑偏绳索"与 DPO 的核心公式

无论是 RLHF 还是 DPO，都有一个至关重要却常被外行忽略的设计：参考模型（Reference Model，${\pi }_{\text{ref}}$）与 KL 散度约束。

如果只让模型一味迎合裁判拿高分，它很快就会把预训练学到的丰富语言能力忘光，退化成一个只会重复几个高分套路词的复读机（这叫模式坍缩）。因此，训练时必须在旁边放一个冻结不动的 SFT 原版模型 ${\pi }_{\text{ref}}$，像栓了一根皮筋一样拽着正在训练的模型 ${\pi }_{\theta }$：你可以往高分方向走，但如果你离原版模型的概率分布太远，皮筋就会产生巨大的拉力把你拽回来。

DPO 正是利用这根皮筋的数学性质，把整个优化目标直接写成了一个简单的损失函数：

$${\mathcal{L}}_{\text{DPO}}({\pi }_{\theta };{\pi }_{\text{ref}})=-{\mathbb{E}}_{(x,y_w,y_l)}[\log \sigma (\beta \log \frac{{\pi }_{\theta }(y_w\mid x)}{{\pi }_{\text{ref}}(y_w\mid x)}-\beta \log \frac{{\pi }_{\theta }(y_l\mid x)}{{\pi }_{\text{ref}}(y_l\mid x)})]$$

其中 $y_w$ 是胜出的好回答，$y_l$ 是落败的差回答。括号里的两项一目了然：第一项衡量好回答相对于原版模型涨了多少概率，第二项衡量差回答相对于原版模型涨了多少概率。DPO 所做的全部事情，就是拉大这两项之间的差距。

DPO 的出现，彻底引爆了开源社区与定制化模型的繁荣。 以前只有大厂养得起的对齐流水线，现在任何团队只要收集几千条符合特定审美品味的对比数据（比如"更像古典文学 vs 更像翻译腔"、"更直率干脆 vs 更啰嗦客套"）， 用几张显卡跑一遍 DPO，就能给模型换上一副截然不同的性格与文风。

五、三层人格的真相：知识在骨，规矩在皮

走完了 预训练 → SFT → 偏好对齐 这三大阶段， 我们可以退后一步，看看这三个阶段在模型内部究竟是如何分工的。

2023 年，Meta 与卡耐基梅隆大学等机构的研究者发表了一篇著名的论文，名叫 LIMA（Less Is More for Alignment）。 他们做了一个极端的实验：只用 1000 条 精心挑选的问答数据对基座模型做微调，不跑任何复杂的强化学习，结果训练出的模型在绝大多数场景下就能和当时最顶级的商业模型平分秋色。

这篇论文提出了一个后来成为业界共识的核心论断—— 表层对齐假说（Superficial Alignment Hypothesis）：

一个模型的知识和核心能力，几乎全部是在预训练阶段学到的；而 SFT 和偏好对齐所做的，只是教会模型在和用户交互时应该采用怎样的子分布（格式、语气与行为规范）。

你可以把今天你所对话的任何一个大语言模型，想象成一个拥有三层同心结构的生命体：

层级	对应阶段	投入规模	塑造了模型的什么	比喻
第一层（内核）	预训练（Pre-training）	万亿级 token、95%+ 算力	语言能力、世界知识、逻辑推理、世间百态的统计分布	一个读遍了人类所有书籍、什么都懂但毫无社交规矩的旷世奇才
第二层（衣冠）	监督微调（SFT）	万级问答样本、极小算力	听懂指令、一问一答的交互范式、常见输出格式	给这位奇才穿上职业装，教会他"别人提问时你要坐端正回答"
第三层（紧箍咒与品味）	偏好对齐（RLHF / DPO）	万级偏好对比、中等算力	讨喜的文风、礼貌客套、承认未知、拒绝危险请求的安全边界	给他立下员工守则：说话要温和、遇到违规问题要微笑着说"抱歉我不能"

看清这三层结构，大模型身上许多让人困惑的现象便一目了然：

• 模型为什么有时会"产生幻觉"（一本正经地编造不存在的事实）：第一层预训练教给它的是"按概率分布把话说圆"，而第二层 SFT 教给它的是"用自信、流畅、专业的助手语气回答一切问题"。当它的参数里恰巧没有某个冷门事实时，SFT 的流畅语气依然会推着它选出"听起来最像那么回事"的词往下接。
• 不同公司的模型"脾气"差异为什么这么大：它们的预训练底座都读过差不多的互联网文本，但在第三层对齐阶段，各家裁判的评分标准截然不同——有的裁判极度厌恶风险，稍微擦边的词汇就给负分，于是训出的模型动辄拒绝回答、满口说教；有的裁判偏爱简明干脆，有的裁判偏爱细腻优美的文笔。你感受到的"模型性格"，本质上就是那群给它打分的裁判的性格投影。

为什么第三层的安全限制与默认腔调，总是既顽固、又脆弱？ 说它顽固，是因为在日常普通提问下，这层后天训出来的"助手习惯"处于最高概率路径上； 说它脆弱，是因为这层衣冠和守则终究只是一层几万条数据刷出来的薄壳，而底下压着的是几万亿字预训练出来的汪洋大海。只要上下文的语境发生变化，底层的"文本续写本能"就随时可能重新接管方向盘。

六、写给下一章

到这里，我们已经亲眼看着一堆毫无意义的随机数， 经历了暴读万卷书的预训练、学会听令答题的 SFT、以及被人类裁判雕刻品味的偏好对齐， 最终长成了一个博学、听话、有自己脾气的现代大语言模型。

但是，不管这台大脑在训练阶段吞下了多少万亿字的知识， 当它真正上岗、开始坐在屏幕后面对话时，它依然每时每刻都受制于一道冷酷的物理铁律。

为什么一个读过全人类图书馆的模型，和你聊了五十个回合之后，就会把开头定下的规矩忘得一干二净？ 为什么今天号称拥有"100 万 token 上下文窗口"的前沿模型，依然会在长文档中间频频失忆？

下一章，我们将直面 Transformer 架构最残酷的物理边界—— 上下文窗口（Context Window）的真相。

---

要点回顾

• 从随机数出发：刚初始化的 Transformer 内部只有随机小数，对所有候选词只能给出平均概率，一切语言与常识都靠后天训练长出。
• 预训练（Pre-training）：用几万亿 token 做自监督的"猜下一个词"游戏。为了把预测误差压到最低，模型被迫在参数里压缩并重建了语法、事实与推理规律，但纯基座模型只会"顺着续写"，不懂"回答问题"。
• 监督微调（SFT）：用几万到几十万条高质量"指令—回答"范例微调模型，激活它原本就有的知识储备，让它学会以助手的身份响应人类指令。
• 偏好对齐（RLHF 与 DPO）：利用人类"二选一"的偏好数据（通过训练奖励模型强化学习，或用 DPO 直接优化概率比值），塑造模型的行文品味、真实性与安全护栏。
• 表层对齐假说：模型的知识与能力几乎全由预训练决定，SFT 与对齐只是在表层规定了调用这些知识的格式、语气与边界。

参考文献

1. Radford, A., Narasimhan, K., Salimans, T., & Sutskever, I. (2018). Improving Language Understanding by Generative Pre-Training. OpenAI Technical Report.
2. Brown, T. B., Mann, B., Ryder, N., Subbiah, M., Kaplan, J., Dhariwal, P., ... & Amodei, D. (2020). Language Models are Few-Shot Learners. In Advances in Neural Information Processing Systems (NeurIPS 2020), pp. 1877–1901. arXiv:2005.14165.
3. Ouyang, L., Wu, J., Jiang, X., Almeida, D., Wainwright, C. L., Mishkin, P., ... & Lowe, R. (2022). Training language models to follow instructions with human feedback. In Advances in Neural Information Processing Systems (NeurIPS 2022), pp. 27730–27744. arXiv:2203.02155.
4. Christiano, P. F., Leike, J., Brown, T. B., Martic, M., Legg, S., & Amodei, D. (2017). Deep Reinforcement Learning from Human Preferences. In Advances in Neural Information Processing Systems (NIPS 2017), pp. 4299–4307. arXiv:1706.03741.
5. Rafailov, R., Sharma, A., Mitchell, E., Manning, C. D., Ermon, S., & Finn, C. (2023). Direct Preference Optimization: Your Language Model is Secretly a Reward Model. In Advances in Neural Information Processing Systems (NeurIPS 2023), pp. 53728–53741. arXiv:2305.18290.
6. Zhou, C., Liu, P., Xu, P., Iyer, S., Sun, J., Mao, Y., ... & Levy, O. (2023). LIMA: Less Is More for Alignment. In Advances in Neural Information Processing Systems (NeurIPS 2023), pp. 55006–55021. arXiv:2305.11206.