From 1.3 bits to 大 语言 模型 From Shannon's 1948 1.3 bits/character guess at the entropy of English  ·  to DeepSeek-R1's 2025 self-emergent reflection  ·  the 77-year arc of language modeling

香农的《通信的数学理论》在 1948 年 7 月与 10 月 分两期发表于《Bell System Technical Journal》。今天它通常被算作信息论的奠基论文，但其中有一节"英文统计结构"，其实也是最早的语言模型实验。

香农的方法是马尔可夫链：用 26 个字母 + 空格共 27 个符号，统计相邻 2-gram、3-gram 出现频率，再让计算机按这些频率随机抽样。结果就是开头那段"THE HEAD AND..."。当 n 增加到词级 bigram 时，模型已能产出语法正确但语义崩坏的英文——这是后来 70 多年所有语言模型共同的婴儿症状。

更深刻的贡献是熵：香农招募人类受试者玩"猜下一个字母"游戏，估算出英文熵的上下限大约 1.0–1.3 比特/字符。这个数字成为后来所有语言模型评测的隐含天花板。压缩与建模在数学上是同一件事：能压得越紧，对语言的理解就越深。这一信念支配着此后整整 77 年的研究方向。

对一种语言的统计结构的研究，给我们提供了一种估算其熵的方法。— Shannon, 1948

整整 55 年，自然语言处理领域被 n-gram 主宰。它简单、快、能在内存里塞下几十亿条 5-gram 表，被认为是"工程上完美的解"。直到 2003 年 2 月，蒙特利尔大学的 Yoshua Bengio 团队在 Journal of Machine Learning Research 发表《一个神经概率语言模型》。

他们做了一件当时被同行视为浪费时间的事：用一个大约百万级参数的多层神经网络，把每个词学成 30-100 维的实数向量（词嵌入），再用一个 MLP 预测下一个词。在 AP News 数据上跑了 3 周，最终困惑度比当时最强的 Kneser-Ney 五元语法低 24%——109 vs 142。

这是神经网络第一次在语言任务上明确击败统计方法。但同行质疑很多：模型太慢、要 3 周训练、参数百万级（n-gram 表可以是几十亿）、没有压倒性优势。Bengio 自己也承认 scale 不上去。但二十年后，"更大、更多、更长"成为千亿级 LLM 的口号。

2013 年 1 月 16 日，Tomáš Mikolov 在 arXiv 提交一篇标题朴素的论文：《向量空间中词表示的高效估计》。论文核心是两个极简模型——CBOW（用上下文猜中心词）和 Skip-gram（用中心词猜上下文）。它们没有隐藏层，本质是两个矩阵乘法。但这个简化让 Mikolov 得以在 Google News 60 亿 token 上跑出 1000 维词向量。

真正点燃整个领域的是论文末尾那个魔术：把 "king" 减去 "man" 再加上 "woman"，最近邻几乎总是 "queen"。词与词之间的语义关系，竟然以代数形式存在于向量空间。一夜之间，Skip-gram 训出的 word2vec 词向量被无数研究者下载、可视化、用来做谱聚类、当输入特征。

word2vec 之所以成为 LLM 史上的关键节点，并不是因为它本身能做什么——它做不了翻译、问答、对话——而是因为它第一次让"语言可以被代数化"成为一个几何上可见的事实。

2014 年 9 月 1 日，蒙特利尔大学的 Bahdanau、Cho 与 Bengio 在 arXiv 提交论文 1409.0473，提出注意力机制：让 decoder 在生成每个目标词时给源句每个位置打权重，再加权求和。WMT'14 英→法翻译 BLEU 36.15，首次匹敌短语级统计机器翻译 Moses 的 35.63。

9 天后，Google Brain 的 Sutskever、Vinyals 与 Le 提交论文 1409.3215，用 4 层 LSTM 做 encoder-decoder（seq2seq），8 GPU 跑 10 天，BLEU 36.5。论文里有一个奇怪的"trick"：把源句反着输入，BLEU 涨 4.7——因为反向输入让源句和目标句在时间上更接近，缓解了 LSTM 对长依赖的失忆。

对照：两条路线的关键参数

• seq2seq（Sutskever）：4 层 LSTM × 1000 hidden / 384M 参数 / 8 GPU × 10 天 / 反向输入 trick
• attention（Bahdanau）：双向 GRU encoder + soft alignment decoder / batch 80 / 5 天训练 / 可视化对齐矩阵

两篇论文同月发表，针对同一任务、用同一个 baseline、得到几乎相同的 BLEU。但它们的命运不同：seq2seq 是"用更大力气把整句压进单个固定向量"的极致；attention 则直接放弃了这种压缩——你不需要记住整句，只需要在生成时回头看。

后来的故事大家都知道：3 年后 Vaswani 把两人的成果合并，扔掉 LSTM，只留 attention，得到 Transformer。

Bahdanau 论文 Figure 3 第一次把 attention 矩阵画成软对齐图——模型自动学出英语 "European Economic Area" 对齐法语 "zone économique européenne"，并且非单调地跳跃了语序。— 2014-09-01 arXiv:1409.0473

Google Brain 的 Llion Jones（一个英国人）给标题起灵感来自 Beatles。8 个作者、6 个月构思，2017 年 6 月 12 日 arXiv 首版。

Transformer 用 65M 参数 base 模型、8 张 NVIDIA P100 GPU、12 小时训练，在 WMT'14 英→德上拿下 BLEU 28.4，比当时所有单模型乃至集成模型都高 2 个 BLEU。Big 模型 213M 参数，3.5 天训练，英→法 BLEU 41.8。

它的真正洞见不是 attention 本身（那是 Bahdanau 2014 的），而是把 attention 推到极致后扔掉所有循环结构。RNN 让两个相距 n 个词的位置之间需要 O(n) 步才能交互，self-attention 只要 O(1) 步——这听起来像工程优化，实际上彻底解放了并行化。从此 GPU 利用率拉满，模型可以堆成千亿参数。

论文当时只验证了翻译。但 Vaswani 团队没料到的是：扔掉 RNN 这一个动作，在六七年内把视觉（ViT）、蛋白质（AlphaFold 2）、机器人控制、音乐生成、代码补全——几乎所有需要"序列建模"的领域全部吞掉。

Transformer 是第一个完全基于注意力的序列转换模型，用多头自注意力取代了 encoder-decoder 架构中最常用的循环层。— Vaswani et al. 摘要

2018-2019 年，整个 NLP 圈被两条路线撕裂：

• 2018-02 ELMo（Peters et al., AI2/华盛顿大学）：双向 LSTM 上下文嵌入，6 项 NLP 任务 SOTA 提升 6-20%，开启"预训练-微调"范式雏形。
• 2018-06 GPT-1（Radford et al., OpenAI）：117M 参数，BookCorpus 800M 词，单向 decoder-only，第一次系统证明生成式预训练 + 任务微调有效。
• 2018-10 BERT（Devlin et al., Google）：340M 参数，双向 encoder-only，masked language model。GLUE 80.5 完虐 GPT-1 的 72.8，11 项 NLP 任务 SOTA。
• 2019-02 GPT-2（Radford et al., OpenAI）：1.5B 参数，WebText 8M 网页 40GB，零样本能力的反击信号。

当时学界几乎全部认为 BERT 是终极方案。Google 主推、NAACL Best Paper、所有 NLP 任务屠榜。GPT-1 在 BERT 论文里被刻意压制——Devlin 把 BERT-Base 110M 参数和 GPT-1 对齐做"公平对比"，结果在所有任务上完虐。

但 GPT 路线赌的是另一件事：单向 = 可生成 = 可继续 scale。BERT 你可以问它"这个句子情感是正还是负"，但你没法和它聊天；GPT 你可以让它继续写下去——一份模型走天下。当算力规模上来后，通用形态吞噬专精形态。

GPT-2 那 1.5B 参数还引发了 LLM 史上一场闹剧：OpenAI 以"太危险不能发布"为由，2019-02-14 只放出 124M 小模型。9 个月后悄悄发布完整 1.5B，被业界嘲讽为"alarmism + 营销"。但这份 alarmism 也在某种意义上成功了——它把"语言模型可能危险"这个观念第一次推进了主流视野。

2020 年 5 月 28 日，OpenAI 在 arXiv 发布 GPT-3 论文。175B 参数、570 GB 过滤后的文本、训练成本约 $4990 万。但论文真正的发现不是参数量，而是一个新词："in-context learning"——你不需要再微调，只要在 prompt 里给几个例子（few-shot），模型就能完成新任务。

"涌现"（emergence）这个词此后开始被滥用，但在 GPT-3 论文里它有具体含义：很多任务在 1B、10B 模型上几乎是随机水平，到了 100B+ 突然能做。Brown 等人列举了 zero-shot、one-shot、few-shot 三种条件下数十个 NLP 任务的曲线，多数曲线在 100B 附近有清晰拐点。

这一拐点意味着：LLM 不再是"针对每个任务微调一份权重"的工具，而是一个通用的、用自然语言编程的接口。提示词（prompt）从此变成新型代码。在论文发布到 2022 年 ChatGPT 之间的两年半，硅谷的整个机器学习工程文化从"训模型"变成"写 prompt"。

GPT-3 的 175B 不是凭直觉拍出来的。2020 年 1 月，OpenAI 的 Jared Kaplan 等发表《神经语言模型的规模法则》，给出一个幂律：损失 L 与参数量 N 成反比 N^-0.076 衰减，并推荐"算力翻倍 → 参数翻 5.5 倍、数据翻 1.8 倍"。GPT-3 175B + 300B tokens 严格按这个法则配比。

整个 2020-2022 年，所有公司都按 Kaplan 配方堆参数：DeepMind Gopher 280B、Microsoft/NVIDIA MT-NLG 530B、Google PaLM 540B。

然后 2022 年 3 月 29 日，DeepMind 的 Hoffmann 等发表《训练算力最优大语言模型》（Chinchilla）。他们用 400 多个模型、5B-500B tokens、70M-16B 参数做了三种独立实验，结论极其难堪：Kaplan 错了。

Kaplan vs Hoffmann 的关键差别

• 最优分配指数：Kaplan N ∝ C^0.73, D ∝ C^0.27 → Hoffmann N ∝ C^0.50, D ∝ C^0.50（等比例）
• 每翻倍算力：Kaplan 参数 ×5.5，数据 ×1.8 → Hoffmann 参数 ×2，数据 ×2
• tokens-per-parameter：Kaplan ~1.7 → Hoffmann ~20
• 错误根源：Kaplan 用固定 cosine 学习率 schedule，导致小数据点 loss 被高估

为了证明，DeepMind 用同样算力训了 Chinchilla 70B + 1.4T tokens，全方位击败 4 倍大的 280B Gopher，MMLU 多 7%。按 Chinchilla 标准，GPT-3 175B 应该配 3.5T tokens，实际只用了 0.3T——严重欠训练。

Current large language models are significantly undertrained.— Hoffmann et al., 2022 · 一句话让 OpenAI 和半个行业重写了路线图

这是 LLM 史上最戏剧性的一次科学纠偏。它教给整个行业一件事：所谓 scaling law 不是物理常数，是带实验偏差的拟合曲线。

GPT-3 175B 虽然涌现，但不听话。它会瞎编、答非所问、生成有毒内容。Long Ouyang 等在 2022 年 3 月 4 日的 arXiv:2203.02155 里给出工程化解法：RLHF 三步流水线。

1. SFT：雇 40 名标注员（Upwork + ScaleAI 筛选）写 13k 条示范回答，监督微调 GPT-3。
2. RM：让标注员对模型产出的 K=4-9 个候选回答排序，构造 33k 条排序数据，训一个 6B 奖励模型。
3. PPO：用 RM 当奖励，PPO 微调 SFT 模型；加 KL 罚项防偏离原模型。

整个流程消耗约 4 万条人类标注。结果惊人：1.3B InstructGPT 在用户偏好上击败 175B 原版 GPT-3，标注员偏好率约 85% vs 15%。参数小 100 倍，但更听话、更诚实、毒性更低。

8 个月后的 2022-11-30，这套技术穿上对话外壳，叫做 ChatGPT。5 天百万用户、2 个月 1 亿用户——人类历史上增长最快的消费级产品。

差不多同一时间，Anthropic（OpenAI 离职团队创立）走了相反的路。2022-12-15 发表《Constitutional AI》：不用人类标注，让 AI 自己读一份"宪法"（一组原则文本），自己批评自己、自己改写。RLAIF（AI Feedback）替代 RLHF。这条路线诞生了后来的 Claude。

RLHF vs CAI 的世界观

• RLHF：对齐是"人类价值的下载"——人在上，AI 在下，4 万条标注是人类偏好的密集采样。
• CAI：对齐是"规则的明文化"——人写宪法、AI 执法，承认任何系统都隐含一套原则，区别只在要不要把它显式化。

InstructGPT 用 4 万条人类反馈，CAI 用 16 条原则，效果差不多——这件事的方法论意义直到今天还在被消化：也许"对齐"需要的信息量比我们想象的少得多。

2023 年 2 月 24 日，Meta AI Paris 团队（FAIR）发表 LLaMA 论文：完全用公开数据训练 7B / 13B / 33B / 65B 四个尺寸的基础模型，向研究界开放权重。LLaMA-13B 在大多基准上击败 GPT-3 175B（小 10 倍），LLaMA-65B 与 Chinchilla-70B、PaLM-540B 平起平坐。它是 Chinchilla 配方的实战验证：65B + 1.4T tokens > 175B + 300B tokens。

但论文最重要的影响不在论文里。2023-03-03 LLaMA 权重被泄漏到 4chan。三周后，斯坦福的 Alpaca、加州大学的 Vicuna、捷克程序员的 llama.cpp、华盛顿大学的 QLoRA——一个个开源里程碑像鞭炮一样接连引爆。普通人第一次能在自己的笔记本电脑、甚至树莓派上跑 LLM。

Meta 在 2023-07 跟进 LLaMA-2（商用许可）、2024-04 LLaMA-3（8B 用 15T tokens 远超 Chinchilla 比例）、2024-07 LLaMA-3.1 405B（基准上击败 GPT-4o）。

It is possible to train state-of-the-art models using publicly available datasets exclusively.— Touvron et al., 2023 · 一句话宣告闭源数据护城河的伪命题

2024 年 12 月 26 日，杭州深度求索发表 DeepSeek-V3 技术报告：671B MoE 总参数、每 token 激活 37B、14.8T tokens 预训练、全程 FP8 混合精度、2048 张 H800 GPU 跑 2 个月——总训练成本 $5.576M。

这不是数字错误。GPT-4 估计训练成本 $60M-$100M，V3 用了它的零头。MMLU 88.5、MATH-500 90.2（超 GPT-4o 的 74.6）、AIME 39.2（开源第一）。中文 SimpleQA 超 GPT-4o。全程没有一次 loss spike，没有一次 rollback。

2025 年 1 月 20 日，深度求索追发 R1。这次他们做了一件 OpenAI 都没明确证明的事：纯强化学习（无 SFT 启动）训练推理模型。在 V3-Base 上跑 GRPO（Group Relative Policy Optimization），唯一奖励是"答案对不对"——数学答案放进 \boxed{} 里 string match，代码 reward 跑测试用例。模型自己学会了反思、验证、和"等等让我重新想想"。

论文 Table 2 里有一段被作者用红字标出的训练日志：在某个 step，模型在解一道数学题中间突然说出 "Wait, wait. Wait. That's an aha moment I can flag here."

这是 LLM 史上最神奇的实验事实之一：反思能力可以从环境反馈涌现，无需人类示范。

R1 把这套配方完整开源：GRPO + rule-based reward + 多阶段管线 + 蒸馏到 Qwen/Llama 1.5B-70B 全家族。从此推理时算力（test-time compute）取代训练时算力，成为 2025 年的新 scaling 法则。Kaplan-Chinchilla 的训练时代结束，推理时代开始。

Wait, wait. Wait. That's an aha moment I can flag here.— DeepSeek-R1 自己，训练日志 step 未公开 · 2025-01