# 模型性能与数据规模

## deepmind写了啥呢

file:///E:/readystudy/chinchilla-article/index.html 可是这个文章中具体是怎么预测的呢，这一点我比较好奇。

## Scaling Laws for Neural Language Models

我们研究了语言模型性能（以交叉熵损失衡量）的经验缩放定律。损失与模型大小、数据集大小以及训练所用的计算量之间呈幂律关系，其中模型的参数对于损失的影响最大。

① 效率前沿（Pareto Frontier）

这是“在有限预算下，如何分配最划算”的曲线。

假设你只有 100 度电（固定 C）。你可以用大模具（大 N）+ 少面糊（小 D），也可以用小模具（小 N）+ 多面糊（大 D）。

曲线向左上凸出意味着：存在唯一的最优配比。只有在这个配比下，烤出来的蛋糕（模型损失最低）才最大最好吃。偏离这个配比（比如模具太大但面糊太少），蛋糕就会烤焦或空心（算力浪费）。

② Kaplan 的错误来源（为什么大厂曾疯狂堆参数？）

Kaplan（OpenAI，2020） 在实验时，最大只用了 3000亿（300B）Token 做测试。他发现：曲线好像在说“模具越大越好”，于是提出了著名的结论——“扩大模型规模（N）是提升性能最有效的方式”。

这直接引发了“参数竞赛”（从 1B 卷到 175B）。

Chinchilla（DeepMind，2022） 指出：Kaplan 被骗了！因为实验数据量范围太小（仅到 300B）。当 DeepMind 把实验扩展到 5000亿（500B）Token 时，发现曲线的后半段走势完全变了——最佳配比根本不是“大模型小数据”，而是

N

∝

D

N∝D（模型多大，数据就该多大）。

你引用的文字里写着 “计算预算翻 10 倍 → 最优 N 翻约 5.4 倍”。

这个 5.4 倍，是 Kaplan（OpenAI）的错误结论（指数 0.73），而不是 Chinchilla（DeepMind）的正确结论。

请留意：如果按照该图文字前面强调的“

N

∝

D

N∝D”等比扩展，计算预算翻 10 倍时，正确的倍数应该是

10

≈

3.2

倍

10

​

≈3.2 倍。

为什么会有这个矛盾？ 可能是撰写该图注的人，把两篇论文的数据搞混了。记住结论：DeepMind 的 Chinchilla 定律明确指出，模型大小和数据的增长速度应该保持一致（指数 ≈ 0.5，即开根号关系），而不是 Kaplan 所说的增长更快（指数 ≈ 0.73）。