Scaling Laws

缩放定律 · 从“损失随规模按幂律下降”出发，讲模型大小、数据量与计算量的缩放，Kaplan 与 Chinchilla 的计算最优之争，从小模型外推大模型，超参数随规模的变化，数据受限与重复，涌现能力的争议，以及推理时计算的缩放。