主题
第 6 章 · LLM 进化史：从 Transformer 到百花齐放
前面五章从微观视角剖析了一台标准大语言模型的工作原理： attention 与 FFN 如何配合、三阶段训练管线如何运转、上下文窗口的物理边界又在哪里。
这一章，我们把视线从实验室的解剖台拉回到宏大的科技史时间线上。
2017 年 6 月，《Attention Is All You Need》发表。 随后的九年里，这篇仅有 11 页的论文，引发了一场堪比寒武纪生命大爆发的技术革命。 今天你拉开模型列表，会看到几十个名字同台竞技： GPT-5.6 与 GPT-6 Astra、Claude Fable 5 与 Opus 5.5、Gemini 3.1 Pro 与 Gemini 4 Argon、DeepSeek-V4、GLM-5.2、Llama 4、Qwen3.7……
它们的血管里流淌着同一种名叫 Transformer 的血液，却在随后几年的关键十字路口走上了不同的演化支流。 读懂这段进化史，并不是为了背诵枯燥的发布年份或参数大小。 只有看清它们各自是从哪条技术支流走出来的、背后的创造者信奉怎样的工程哲学，面对任何一个新模型时，才能一眼看穿它的脾气、长处与能力边界。
章节概要
- 三种架构的角逐（2018–2020）：Encoder-only、Encoder-Decoder 与 Decoder-only 同台起跑，为什么最终统治世界的是"只会单向接话"的第三种？
- 规模的暴力与数据的觉醒（2020–2022）：Kaplan 缩放定律点燃的参数狂热，以及 Chinchilla 如何用"参数与数据等比扩展"重写了行业规则
- 闭源三巨头的路线分化（2022–2026）：OpenAI 的系统大一统、Anthropic 的宪法 AI 与 Google 的原生多模态
- 开源的野火与算力平权（2023–2026）：从 LLaMA 权重的意外泄露、MoE 混合专家架构的普及，到以 DeepSeek、Qwen 为代表的中国开源力量如何打破算力霸权
- 范式转移：System 2 推理模型的觉醒（2024–2026）：从 o1、R1 到混合推理时代，模型如何从"直觉快思考"跨入"内部慢思考"
一、三种架构，一种胜出（2018–2020）
故事要从 2017 年底讲起。 很多人今天习惯把 Transformer 直接等同于 GPT，但翻开 2017 年的原版论文就会发现，Vaswani 那八个人当年设计的其实是一个两半拼接的机器—— 左边叫 Encoder（编码器），负责把源语言（比如德语）整句读懂； 右边叫 Decoder（解码器），负责把目标语言（比如英语）一个词一个词写出来。
当这套图纸在 2018 年摆到全世界研究者面前时，整个 NLP 学界很快分成了三个阵营，各自拆走了 Transformer 的一部分去探路。
第一条路：Encoder-only——BERT 的双向阅读理解
2018 年 10 月，Google 率先出手，发布了 BERT。 他们的选择是：砍掉右半边负责生成的 Decoder，只保留左半边负责阅读的 Encoder。
既然不用一个字一个字往外写，BERT 在阅读整句话时没有任何方向限制。 在 BERT 眼里，句子里的每一个词都可以同时往左看、也往右看——这就是所谓的双向注意力（Bidirectional Attention）。 它的预训练方式是名副其实的"完形填空"：把一句话中间随机挖掉 15% 的词，让模型结合前后文把挖掉的词填回去。
BERT 一出世就横扫了当时所有的自然语言理解榜单。 在文本分类、情感判断、搜索引擎相关性排序等"把一段话读懂"的任务上，它强得没有对手。 直到今天，你在很多搜索系统和向量检索（Embedding）工具底层看到的模型，依然是 BERT 家族的后代。
但 BERT 有一个天生的死穴：它不会说话。 因为训练时习惯了"同时看清前后文再填空"，一旦让它面对一片空白、从零写出一段长文章，它就彻底不会了。 它是一位满分的阅卷与阅读理解机器，却不是一位创作者。
第二条路：Encoder-Decoder——T5 的双边大一统
Google 的另一支团队（其中包括原论文作者之一的 Noam Shazeer）在 2019 年提出了 T5（Text-to-Text Transfer Transformer）。 他们的选择是：保留原版 Transformer 左编码、右解码的完整双边结构。
T5 的口号非常优雅——把世间一切 NLP 任务都统一成"文本进，文本出"： 输入「翻译成德语：That is good」，输出「Das ist gut」； 输入「判断情感：这部电影太烂了」，输出「负面」。
这套架构在逻辑上无可挑剔，但在随后几年的规模竞赛中，它渐渐掉了队。 原因很现实：在同样的参数预算下，把模型劈成左右两半，还要维护中间连接两端的交叉注意力（Cross-Attention），既增加了工程复杂度，又把原本可以集中在一处的参数容量分散成了两半。
第三条路：Decoder-only——GPT 的单向接龙
就在全世界的聚光灯都打在 Google 的 BERT 身上时， 当时还只是一家非营利研究机构的 OpenAI，在 2018 年 6 月悄悄选了最不起眼的第三条路—— 砍掉左半边的 Encoder，只留右半边的 Decoder，在训练时用单向掩码挡住右边的下文，从头到尾只做一件事：顺着前文预测下一个词。
这就是 GPT-1，以及一年后的 GPT-2。
在 2018 到 2019 年，几乎大半个学术界都觉得 OpenAI 选错了方向： 单向蒙着眼猜词，理解能力怎么看都不如能同时看清前后文的双向 BERT。
但 OpenAI 的首席科学家 Ilya Sutskever 等人死死咬住了一个更底层的直觉： 双向完形填空只挖掉 15% 的词，意味着读完一句话只有 15% 的位置能产生训练信号，而且"知道下文再猜中间"任务太简单了； 而 Decoder-only 的单向预测，一句话里的每一个词都是前文的考题，100% 的 token 都在同时产生训练梯度，而且要想在看不到下文的情况下猜对下一个词，模型反而被迫要学出更深层的世界规律。
历史最终给这场三岔路口的赌局判了胜负： Decoder-only 赢得了整个时代。
它的结构纯粹到极点，不需要任何精巧的挖空策略，只要把全互联网的文本源源不断地倒进去，就能顺畅地往上扩充到千亿、万亿参数。 今天你所见到的所有主流大语言模型——无论是 GPT、Claude、Gemini，还是 DeepSeek、Llama、Qwen——在主干上全部是 Decoder-only 的同门子孙。
二、规模的暴力与数据的觉醒（2020–2022）
确立了 Decoder-only 这条路之后，接下来的三年，是属于"暴力美学"的三年。
GPT-3 与 Kaplan 缩放定律：大就是好
2020 年初，OpenAI 的 Jared Kaplan 等人发表了一篇深刻改变行业信仰的论文： 《Scaling Laws for Neural Language Models》（神经语言模型的缩放定律）。
他们把不同大小、喂了不同数据量的模型放在同一张坐标纸上画线，发现了一条惊人平滑的幂律曲线： 模型的预测误差（Loss），随着模型参数量、训练数据量和投入的总算力的增加，沿着一条笔直的对数斜坡稳定下降，而且看不到尽头。
更关键的是，Kaplan 团队在论文里给出了一个具体的算力分配建议： 如果你手里的算力预算翻了 10 倍，最划算的做法是把绝大部分预算用来造一个参数量大得多的模型（参数量扩约 5.5 倍），而训练数据量只需要稍微加一点点（约 1.8 倍）就够了。
几个月后，OpenAI 拿出了这条定律的终极作品——GPT-3。 参数量直接从 GPT-2 的 15 亿暴涨百倍，来到 1750 亿（175B），而喂进去的训练数据只有 3000 亿（300B）token。
GPT-3 震撼了整个科技界。 人们第一次发现，当模型大到一定程度时，甚至不需要为具体任务去微调它的参数—— 只要在提示词里给它写两三个例子（Few-Shot Learning，少样本学习），它就能当场学会翻译、写代码、改语法。 全行业瞬间陷入了对"参数规模"的狂热崇拜：5300 亿参数的 MT-NLG、5400 亿参数的 PaLM 接连上马，仿佛谁的参数数字后面零多，谁就能先一步撞开通用人工智能的大门。
Chinchilla 的反叛：我们一直在饿着模型
就在所有人闷头比赛把模型造得越来越臃肿时， 2022 年 3 月，DeepMind 的 Jordan Hoffmann 等人扔出了一篇名为 Chinchilla（龙猫） 的论文，给整个行业浇了一盆冰水。
他们的结论只有一句话： Kaplan 算错了，过去两年全世界造出来的巨型模型，全都严重"营养不良"！
DeepMind 团队通过超过 400 次严谨的对照实验证明： 当你的算力预算翻倍时，模型参数量和训练数据量必须严格按 1 : 1 的等比例同步增加。 平均而言，模型里的每一个参数，至少需要喂大约 20 个 token 的高质量数据才算"吃饱"。
按这个标准回头看： 1750 亿参数的 GPT-3 只吃了 3000 亿 token，相当于只吃到了两成饱； 为了验证这一点，DeepMind 造了一个参数量只有 700 亿（70B） 的模型 Chinchilla，却给它足足喂了 1.4 万亿（1.4T）token 的数据—— 结果这个体型小了一大半的"龙猫"，在几乎所有基准测试上把 1750 亿的 GPT-3 和自家 2800 亿的 Gopher 按在地上摩擦。
为什么这件事对今天的你依然重要？
Chinchilla 觉醒之后，行业甚至走得比它更远——进入过度训练（Over-training）时代。
因为训练模型只花一次钱，而模型上线后每天被成百上千万用户调用（推理）花的电费和显存才是无底洞。 所以从 2023 年的 Llama 到 2026 年的今天，各大厂商宁可在训练时拼命给中小体型的模型喂下 15 万亿乃至 30 万亿 token 的海量数据，把知识的密度压缩到极致。
这就是为什么今天随便拿来一个只有 80 亿（8B）或 300 亿（30B）参数的现代模型，它的实际智商和知识面，反而远超当年那个需要一整排服务器才能跑起来的 1750 亿参数初代 GPT-3。看一个模型强不强，永远不要只看它的参数量。
三、ChatGPT 奇点与闭源巨头的路线分化（2022–2026）
2022 年 11 月 30 日，OpenAI 把 SFT + RLHF 对齐管线套在 GPT-3.5 上，做成了一个网页聊天框，取名 ChatGPT。
在纯学术视角下，它只是一次对齐技术的常规应用； 但在人类科技史上，它在短短两个月内拿下了 1 亿月活用户，彻底终结了大模型"只在实验室里刷榜"的时代。
从这一刻起，大语言模型从学术论文变成了万亿美元级别的商业战场。 而在随后的四年（2022–2026）里，站在金字塔尖的三家闭源巨头，因为各自创始团队的基因与技术信仰不同，走出了一条截然不同的分化之路：
1. OpenAI：全能系统与推理大一统
从 2023 年初的 GPT-4 开始，OpenAI 彻底关上了开放权重的大门，目标非常明确：打造统治所有工作流的"全能底座"。
他们在随后的几年里经历了两次关键跃迁： 第一次是把复杂的慢思考推理模型（o1 / o3 系列）孵化出来； 第二次则是在 2025 年的 GPT-5 世代，把原本割裂的"快思考对话模型"和"慢思考推理模型"重新融合成一套能够根据问题难度自动调配算力的自适应系统。 一路演进到 2026 年的 GPT-5.6（分化为 Sol、Terra、Luna 等面向旗舰、均衡与高吞吐的不同梯队）乃至新一代的 GPT-6 Astra，OpenAI 的典型风格始终是工程上的全面与均衡——它未必在每一种细分的文学审美上都是最惊艳的，但它永远试图做那个工具链最完整、指令遵循最工业化的标准答案。
2. Anthropic：宪法 AI 与极致的文本品味
Anthropic 是由前 OpenAI 研究副总裁 Dario Amodei 带领一批核心骨干出走创立的公司，代表作正是 Claude 系列。 这支团队从诞生起就带着极强的"AI 安全"执念，但他们在做安全对齐时，发明了一套深刻影响后世的技术：Constitutional AI（宪法 AI）。
传统的 RLHF 需要雇佣成千上万名人类外包标注员，一条一条去给模型的危险回答打低分； 而 Anthropic 觉得人工打分既不一致、又容易让模型变得死板。 于是他们直接用自然语言写了一部包含几十条原则的模型宪法（汲取自《世界人权宣言》及各类伦理准则），然后让模型自己在生成回答后，对照这部宪法自我审视、自我批评、自我改写，再用改写后的数据做强化学习。
这套独特的训练管线，加上 Anthropic 在预训练与微调语料上对高水准人文、哲学与代码文本的偏爱，造就了 Claude 家族极为鲜明的双面性格： 一方面，从早年的 Claude 3 Opus、3.5 Sonnet，到 2026 年的 Claude Fable 5 与 Claude Opus 5.5，它在自然语言的细腻度、修辞张力、长文连贯性以及复杂代码工程上，拥有公认最接近人类优秀作者的"文本品味"； 另一方面，那部刻进骨子里的"宪法"，也让它在面对触及安全红线或道德争议的请求时，有着比同行更敏锐的防御本能。
3. Google DeepMind：原生多模态与超长视野
作为 Transformer 的娘家，Google 在 2023 年将原本各自为战的 Google Brain 与 DeepMind 合并为 Google DeepMind（并在 2024 年把 Noam Shazeer 请了回来），全力打造 Gemini 系列。
与早期对手"先训好一个纯文本模型，再像打补丁一样外挂一个视觉编码器或语音模块"的做法不同， Google 从 Gemini 1.0 起就押注了一条最难的路：原生多模态（Natively Multimodal）—— 文本、图像、音频、视频、代码的 token 从预训练的第一天起，就被混在同一个锅里联合训练。 与此同时，凭借深厚的底层基础设施积累，Google 也是最早把百万级上下文窗口（从 Gemini 1.5 Pro 的 100 万到 200 万 token）推向大规模实用化的厂商。 演进到 Gemini 3.1 Pro 与 Gemini 4 Argon 世代，超大吞吐量的长上下文处理、跨模态感知与高速推理，构成了它最稳固的护城河。
四、开源的野火与算力平权（2023–2026）
如果故事只停在上面三家闭源巨头，那么大语言模型终究只是属于少数科技巨无霸的"云端核武器"——普通人只能隔着 API 窗口按 token 交租，无法窥探内部，也无法改动分毫。
把这面高墙炸开一道缺口的，是一场意外，以及随后长达四年的开源接力。
第一棒：LLaMA 的意外泄露（2023）
2023 年 2 月，Meta 的 AI 团队发布了第一代 LLaMA（从 7B 到 65B 参数）。 当时 Meta 只开放了论文和代码，模型权重本身需要填写学术申请表、通过审核后才能私下获取。 结果仅仅过了一周，一位拿到权重的匿名者在 4chan 论坛上发了一个 BitTorrent 磁力链接—— LLaMA 的完整权重就此传遍了整个互联网。
这一漏，成了开源 AI 的"普罗米修斯盗火"时刻。 全世界的独立开发者第一次拿到了遵循 Chinchilla 定律充分训练过的现代大模型底座： 有人连夜写出 C++ 推理框架 llama.cpp，让大模型第一次在没有独立显卡的 MacBook 笔记本上跑了起来； 有人发现通过 LoRA（低秩自适应）技术，用一张消费级显卡就能在几天内给模型微调出全新的能力。 看到这股挡不住的野火，Meta 干脆顺水推舟，从 Llama 2、Llama 3 到 Llama 4，正式走上了开放权重（Open Weights）之路。
第二棒：MoE（混合专家架构）打破算力铁律
开源社区很快撞上了第二个难题： 模型越大越聪明，但如果把一个 700 亿甚至上千亿参数的稠密模型（Dense Model）跑起来，每生成一个字都要把全部上千亿个参数算一遍，普通人的显卡和钱包根本承受不起。
破局的武器叫 MoE（Mixture of Experts，混合专家架构）。 这个想法最早也是由 Noam Shazeer 等人在 Google 时期探索的，而在 2023 年底被法国初创公司 Mistral 的 Mixtral 8x7B 真正带火，随后迅速成为现代旗舰模型的标配。
MoE 的思路直接针对模型中占去六七成参数量的 FFN（前馈网络） 下手：
- 在传统的稠密模型里，每一层只有一个巨大的 FFN，不管输入的是数学题、古诗词还是 Python 代码，全都得把这个大 FFN 从头到尾算一遍；
- 而在 MoE 模型里，工程师把这一个大 FFN 拆成了几十个甚至上百个小 FFN，每个小 FFN 叫一位专家（Expert），并在门口放了一个轻量级的路由器（Router）。
当一个 token 走进这一层时，门口的路由器先看它一眼，判断："这个词跟古诗词有关，去请第 2 号和第 4 号专家来处理就行，其余专家原地休息！"
这一招实现了不可思议的大容量、小算力： 模型整体可以拥有几千亿的总参数量（肚子里装得下全世界的冷门知识）， 但在实际生成每一个 token 时，真正被唤醒参与计算的激活参数量只有几百亿（推理速度和电费开销跟一个小模型差不多）。
一个必须分清的硬件常识：MoE 省算力，不省显存
很多刚接触本地部署的人会被"激活参数只有 30B"误导，以为拿一张装得下 30B 的显卡就能跑一个总参数 400B 的 MoE 模型。
这是行不通的。因为路由器在每一个 token 到来之前，并不知道下一秒会点名哪一位专家，所以所有的专家都必须提前完整地装进显存（或内存）里随时待命。 简而言之：MoE 模型吃多少显存，看它的"总参数量"；跑起来有多快、费多少电，看它的"激活参数量"。
第三棒：中国开源力量的崛起与极致工程（2024–2026）
在 2024 到 2026 年的演进中，以 DeepSeek（深度求索）、阿里的 Qwen（通义千问）、智谱的 GLM、月之暗面的 Kimi 与 MiniMax 为代表的中国团队，把开源大模型推向了真正能与硅谷闭源巨头正面掰手腕的高度。
其中最具代表性的一仗，是 DeepSeek 在极度受限的算力条件下打出的工程奇迹： 他们将细粒度的 DeepSeekMoE 架构、把 KV 缓存砍掉九成以上的 MLA（多头潜在注意力） 以及 FP8 混合精度训练 结合在一起。 2024 年底发布的 DeepSeek-V3（总参数 671B，激活参数仅 37B），仅花费了五百多万美元级别的训练算力成本——不到硅谷同级别模型的十分之一——就在各项核心能力上追平了当时的顶尖闭源模型； 到了 2026 年的 DeepSeek-V4，更是进一步将百万级 token 的高效长上下文注意力推成了开源旗舰的基准配置。
与此同时，Qwen 系列（一路迭代至 Qwen3.7）凭借极其扎实的从 0.5B 到百亿、千亿全尺寸覆盖，成为了全球开源微调生态中被下载和衍生最多的底座；GLM-5.2 等模型则在长程工具调用与双语语境下持续深耕。
这场开源运动的最大遗产，就是算力与智能的平权—— 大模型不再是只有几家万亿巨头才能染指的黑盒神迹，它的图纸、权重与训练配方被彻底摊开在了阳光下。
五、范式转移：System 2 推理模型的觉醒（2024–2026）
如果站在 2024 年初往回看，从 GPT-1 到 GPT-4，大模型进步的主旋律始终只有一条： 把预训练的规模做大（Pre-training Scaling）——喂更多的数据、堆更多的参数。
但在 2024 年底到 2025 年初，随着 OpenAI 发布 o1 / o3 系列、以及 DeepSeek 在 2025 年 1 月开源 DeepSeek-R1 并公开全部训练秘密， 整个大语言模型领域迎来了自 ChatGPT 诞生以来最深刻的一次范式转移。
快思考（System 1）的致命弱点
要理解这次转移，得先看清传统大模型的软肋。
借用诺贝尔经济学奖得主丹尼尔·卡尼曼在《思考，快与慢》中的经典划分： 人类的大脑有两套思考系统——
- 系统 1（System 1，快思考）：凭直觉、不假思索、脱口而出。比如看到「1 + 1 = ?」或者「床前明月光，下一句是什么」，你不用动脑子，零点一秒就能答出来。
- 系统 2（System 2，慢思考）：深思熟虑、需要打草稿、会自我验算和推翻重来。比如算「37 × 48 等于多少」或者解一道复杂的逻辑推理题，凭直觉脱口而出必错无疑，必须在脑子里一步一步列竖式、做推导。
在 o1 和 R1 出现之前，无论多大的语言模型，工作方式本质上全都只有系统 1。
无论是问它「1 + 1 等于几」，还是问它「请证明黎曼猜想」， 模型每吐出一个 token，都只是把句子过一遍固定层数的 Transformer Block，花掉一模一样的计算量，然后当场拍板决定下一个字写什么。 而且受自回归生成所限，一旦它第一个字拍脑袋说错了，这个错字就会立刻被拼进上下文窗口里，逼着它为了前后自洽，在后面的几百个字里一路错到底。
它没有"停下来想一想"的时间，也没有"划掉重写"的草稿纸。
慢思考（System 2）：用强化学习长出"内部草稿纸"
推理模型（Reasoning Models）正是为了给大模型装上系统 2 而诞生的。
它的核心改变在于：当模型收到你的问题后，在正式开口回答你之前，系统允许它先在一个用特殊标签（例如 <think> ... </think>）包起来的内部思考区里，自由地写下几百到几万个 token 的思维链草稿（Chain-of-Thought）。
更颠覆的是模型学会写这份草稿的方式。 DeepSeek-R1 的论文向世界揭示了一个震撼的真相： 根本不需要人类去手把手教模型"第一步该怎么想、第二步该怎么想"。
工程师只需要准备大批有明确对错标准的题目（比如数学题、代码测试、逻辑谜题），然后直接上大规模强化学习（RL）—— 只定一条规则：不管模型在 <think> 草稿纸里怎么折腾，只要最终给出的答案是对的，就给高分奖励；答案错了，就扣分。
在成千上万轮强化学习的自我博弈中， 模型为了拿到最终的正确奖励，完全靠自己摸索，在草稿纸里自发涌现出了人类高级思考才有的行为模式—— 它会写着写着突然停下来：
"等等（Wait），我刚才第二步的假设好像漏掉了一种边界情况，让我退回去重新算一遍……"
它会自我怀疑、自我验算、换第二种方法交叉核对，直到逻辑彻底闭环，才结束思考，把干净的最终结论输出给用户。
这开启了大语言模型的第二条缩放定律——测试时计算缩放（Test-time Compute Scaling）： 以前想让模型变聪明，只能在训练时多烧钱； 现在，哪怕是同一个模型，只要在回答问题时（测试时）多给它分配几千个 token 的思考预算，让它在后台多想一会儿，它的智力上限就能再往上拔高一大截。
到了 2026 年，原本各自独立的"通用对话模型"与"深度推理模型"已经全面走向合流。 无论是闭源的 GPT、Claude、Gemini，还是开源的 DeepSeek、Qwen、GLM，全都具备了可调节的思考深度——简单寒暄时用系统 1 秒回，遇到复杂逻辑与深层规划时自动唤起系统 2 深思。
六、写给第二部
从 1950 年代塞满磁带的翻译机房，走到 2017 年那篇只有 11 页的论文； 从最初只为加速机器翻译而生的编码-解码器，到 Decoder-only 靠着极致的单向预测统治世界； 从盲目堆砌参数的狂热，到 Chinchilla 的数据觉醒、MoE 的算力平权，再到演化出"系统 2"慢思考能力的推理模型。
到这里，第一部：大语言模型的来路，正式收官。
我们在这一部里花了整整六章的篇幅，没有教你背诵任何一条现成的提示词模板，而是带你拆开了架构的黑盒、走完了训练的流水线、丈量了上下文窗口的物理边界，最后看清了各大模型家族的来龙去脉。
之所以要花这么大力气做这件事，是因为我们从导言起就笃信一个道理： 真正的高手，从不对着黑盒念咒。 当你脑子里装了前六章的图纸——当你清楚地知道模型是怎样在向量空间里借意义、怎样在 FFN 里查键值表、怎样受困于 U 型注意力曲线、又是怎样在对齐阶段被穿上了性格外衣—— 市面上那些故弄玄虚的"神级指令"和"玄学套路"，在你眼里就会瞬间退去光环，露出它们底层的数学骨骼。
现在，这台历经七十年进化而成的庞大引擎，已经安静地停在你的面前。 从下一章开始，我们要把目光从机器的内部构造，正式转向你手中的方向盘——语言本身。
为什么你发出去的一句话，只是模型真正收到的文档里的一小角？ 为什么同样一句话，换个位置摆放、换个符号包裹，模型给出的回答就会判若两人？
翻开下一页，欢迎来到第二部：与 AI 对话的科学。
要点回顾
- 三种架构的胜负：相比于只懂双向阅读的 Encoder-only（BERT）与双边结构的 Encoder-Decoder（T5），Decoder-only（GPT 路线）凭借极其纯粹的"单向预测下一个词"目标与极佳的扩展性，成为了所有现代生成式大模型的共同底座。
- 缩放定律的演进：Kaplan 缩放定律（2020）点燃了参数扩张竞赛，而 Chinchilla 定律（2022）证明了"参数量与训练数据量必须等比增长"，直接推动现代模型走向高知识密度的充分训练与过度训练。
- 闭源三巨头的分化：OpenAI 走向全能系统与自适应推理的大一统；Anthropic 依托"宪法 AI（Constitutional AI）"塑造了兼具细腻文本品味与严格安全边界的 Claude 家族；Google DeepMind 则深耕原生多模态与百万级超长上下文。
- 开源平权与架构革新：由 LLaMA 泄露点燃，经由 MoE（混合专家架构，总参数决定显存容量、激活参数决定计算开销） 与 MLA 等工程突破，以 DeepSeek、Qwen、GLM 等为代表的力量彻底打破了算力垄断。
- System 2 推理模型：以 o1/o3 与 DeepSeek-R1 为转折点，大规模强化学习让模型学会了在开口前先使用长思维链进行"慢思考"与自我纠错，开辟了"用思考时间换智能上限"的测试时计算缩放路线。
参考文献
- Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., & Polosukhin, I. (2017). Attention Is All You Need. In Advances in Neural Information Processing Systems (NIPS 2017), pp. 5998–6008. arXiv:1706.03762.
- Radford, A., Narasimhan, K., Salimans, T., & Sutskever, I. (2018). Improving Language Understanding by Generative Pre-Training. OpenAI Technical Report.
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In NAACL 2019. arXiv:1810.04805.
- Raffel, C., Shazeer, N., Roberts, A., Lee, K., Narang, S., Matena, M., Zhou, Y., Li, W., & Liu, P. J. (2020). Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. Journal of Machine Learning Research, 21(140), 1–67. arXiv:1910.10683.
- Brown, T. B., Mann, B., Ryder, N., Subbiah, M., Kaplan, J., Dhariwal, P., ... & Amodei, D. (2020). Language Models are Few-Shot Learners. In Advances in Neural Information Processing Systems (NeurIPS 2020). arXiv:2005.14165.
- Kaplan, J., McCandlish, S., Henighan, T., Brown, T. B., Chess, B., Child, R., ... & Amodei, D. (2020). Scaling Laws for Neural Language Models. arXiv:2001.08361.
- Hoffmann, J., Borgeaud, S., Mensch, A., Buchatskaya, E., Cai, T., Rutherford, E., ... & Sifre, L. (2022). Training Compute-Optimal Large Language Models. In Advances in Neural Information Processing Systems (NeurIPS 2022). arXiv:2203.15556.
- Ouyang, L., Wu, J., Jiang, X., Almeida, D., Wainwright, C. L., Mishkin, P., ... & Lowe, R. (2022). Training language models to follow instructions with human feedback. In Advances in Neural Information Processing Systems (NeurIPS 2022). arXiv:2203.02155.
- OpenAI. (2023). GPT-4 Technical Report. arXiv:2303.08774.
- Bai, Y., Kadavath, S., Kundu, S., Askell, A., Kernion, J., Jones, A., ... & Kaplan, J. (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073.
- Touvron, H., Lavril, T., Izacard, G., Martinet, X., Lachaux, M.-A., Lacroix, T., ... & Lample, G. (2023). LLaMA: Open and Efficient Foundation Language Models. arXiv:2302.13971.
- Jiang, A. Q., Sablayrolles, A., Roux, A., Mensch, A., Savary, B., Bamford, C., ... & Lample, G. (2024). Mixtral of Experts. arXiv:2401.04088.
- Liu, A., Xue, B., Wang, B., Wu, B., ... (DeepSeek-AI). (2024). DeepSeek-V3 Technical Report. arXiv:2412.19437.
- DeepSeek-AI. (2025). DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning. arXiv:2501.12948.
- DeepSeek-AI. (2026). DeepSeek-V4: Towards Highly Efficient Million-Token Context Intelligence. arXiv:2606.19348.