终于搞懂了梯度下降和scaling law, 原来OpenAI 4 年前早已验证

“

language modeling performance improves smoothly and predictably

01

02

1. 残差连接（Residual Connection）：在Transformer模型中，通过允许原始输入直接传递至网络的更深层，这种方法有助于防止信息在深层网络中丢失。
2. 残差网络（ResNet）：在深层的卷积神经网络（CNN）中，残差连接用于解决梯度消失问题。对于浅层CNN，梯度消失现象较少发生。残差网络的广泛应用使得训练极深的网络成为可能。
3. LSTM和GRU：这两种循环神经网络（RNN）的变体通过引入门控机制来解决梯度消失问题。
4. 层归一化（Layer Normalization）：通过对神经网络每一层的输出进行归一化处理，使其均值为0，方差为1，这有助于保持梯度在稳定范围内，减少梯度消失问题，并稳定训练过程。层归一化多用于RNN和Transformer;层归一化通常与激活函数一起使用，激活函数一般放在中间层，以确保网络的非线性特性和梯度的稳定性
5. 激活函数：激活函数用于引入非线性，使神经网络能够处理复杂和非线性的数据。以下是几种常见的激活函数：

• Sigmoid：输出范围在0到1之间
• Tanh：输出范围在-1到1之间
• ReLU：对于正输入，输出等于输入值；对于负输入，输出为0。ReLU在正区间的梯度恒为1，有效避免了梯度消失问题。
• 梯度修剪（Gradient Clipping）：这是一种处理梯度爆炸的策略，通过设定阈值来限制梯度的最大值

03

Openai 2020 这篇论文观察到的Transformer模型 scaling 的规律, 几乎都是围绕上面说的损失函数讲的
论文研究的模型架构, 模型参数大小N, 数据集大小D,算力大小C对模型性能影响, 这里面主要是后 3 个对模型有影响Performance depends strongly on scale, weakly on model shape, 而模型架构的超参数, 隐藏中间层的层数和每一层神经元的数量大小经实践并没有对模型有多大影响
在为什么现在都不说BERT,甚至不提模型架构了?列出的一位 openai 员工的博客上, 他也观察到同样的现象
Scale 包括的因素就主要是上面的 模型参数大小N, 数据集大小D,算力大小C, 我们经常见到的 Scale up 就是不断增加这 3 个因素的大小和资源
我们去年看 GPT3.5 更新到参数更大的GPT4, 开源 llama,qwen 既有 14B 的又有72B,这些参数有大有小, 不断增加 xxB 的过程可以理解成持续的 Scale up
不断 Scale up 在目前的实践观察中, 确实最能直接提升模型的性能
同时模型参数N,数据集D,算力C 之间是有幂律关系 power laws,超过 6 个数量级(100 万)范围都能观察到这种关系,且模型越大,这个关系越明显



具体来说，如果我们增加其中一个因素（比如参数数量N），并且另两个因素（D和C）也相应增加，那么模型性能会显著提升。但是，如果我们只增加N，而D和C保持不变，那么N的增加不会带来明显的性能提升，因为D和C可能会成为限制因素（瓶颈）
Training curves follow predictable power-laws 训练损失曲线也是幂律规律,并且这个幂律规律的参数不受模型大小的改变而改变, 观察到早期的规律, 可以直接预测更大规模训练的规律, 这对于优化训练时间和资源使用非常有帮助，尤其是在需要决定是否继续训练模型的时候
通过这个角度,我们再看过去的 RNN 架构
下面两张图展现了Transformers在处理复杂、长距离依赖问题上的优势，解释了为什么在许多自然语言处理任务中，Transformers逐渐取代了LSTMs



左图:
随着模型参数数量的增加，Transformers和LSTMs的测试损失都在下降，但Transformers的下降幅度更大 特别是在参数数量达到一定规模时，Transformers的损失值显著低于LSTMs，表明在处理更大规模的模型时，Transformers的性能更好
右图:
对于LSTM来说，在处理到大约100个词后，其性能基本不再提升，甚至出现了平台期plateaus（即曲线趋于平坦) Transformers在长上下文场景中的优越性，表现出更好的泛化能力和更低的损失
接下来探讨不同算力, 参数大小, 数据集是怎么影响 loss 损失的



左图:
随着模型参数数量的增加（从紫色到黄色），在相同的词元处理数量下，测试损失值降低得更快。这意味着较大的模型需要处理较少的样本即可达到与较小模型相同的性能
换句话说，参数多的模型比参数小的模型更能高效地学习，达到相同性能所需的训练数据和所需的步数更少Sample efficiency



Figure2 右图:
较大的模型随着计算资源的增加，损失值的降低更加显著。这表明，较大的模型可以更好地利用计算资源来提升性能
但是在图的右下方可以看到，训练在接近收敛之前就停止了，这说明计算资源高效的策略下, 使用的算力在大多数情况下远低于收敛所需的量
Overfitting:
同步增加模型参数数量（N）和数据量（D），模型的性能就会按预期地提升;
而如果只增加 N 或者只增加D,  其他两个因素保持增长, 带来的性能提升将会不明显,出现过拟合Overfitting和性能损失
根据实验, N 和 D 的比例大概是N^{0.74}/D .如果我们将模型规模增加8倍（8x），那么为了避免性能损失，我们只需要将数据量增加大约5倍（5x）



上面两图显示: 随着模型参数数量的增加，损失整体上呈下降趋势，且算力资源和step 步数越多的, 下降得越快
左图:
对于非常大的模型，如果计算资源（PF-days）不足，模型可能未能充分训练，尚未达到最佳状态就停止训练
在每个紫色和蓝色曲线的右边，我们看到一些较大参数的模型在较低的计算预算下损失值逐渐升高,梯度上升，表明这些模型可能因计算资源不足而未完全收敛,未达到最低损失梯度就停止训练
模型收敛（convergence）: 在训练神经网络或其他机器学习模型时，我们通过反复调整模型的参数，使模型的预测结果逐渐逼近真实值。随着训练的进行，模型的损失函数值（表示预测与实际之间的差距）通常会逐渐降低
当损失函数的值在多次迭代后不再显著下降，或者保持在一个稳定的低水平时，我们就说模型已经收敛了。这意味着模型已经学到了数据中的模式，进一步的训练不会显著改善其性能
收敛是训练过程中的一个关键目标，表明模型已经达到了最佳或接近最佳的状态。继续训练收敛后的模型可能会导致过拟合
算力增大对模型参数 增大.batch size增大, step 增大的不同比例影响:



当我们有了更强大算力时，大多数的计算能力应该用来让模型参数变得更大，这样它才能学得更好
少部分计算能力可以用来让每次训练用的数据更多
(前面提到的batch size 相关概念) "根据实验, N 和 D 的比例大概是N^{0.74}/D .如果我们将模型规模增加8倍（8x），那么为了避免性能损失，我们只需要将数据量增加大约5倍（5x）,来避免过拟合overfitting"
"在训练大型深度学习模型时，最佳的批次大小batch size主要取决于模型训练中的损失值.,有种幂律关系，并且可以通过测量训练过程中梯度的噪声来确定。对于当前可训练最大规模的模型175B，在接近收敛时，最佳的批次大小大约是1M到2M个词元"
而很少的一部分计算能力用来增加训练的次数

“

参数多的模型比参数小的模型更能高效地学习，达到相同性能所需的训练数据和所需的步数更少Sample efficiency

Transfer Learning 迁移学习
即使测试数据和训练数据的分布不一样，模型的表现（损失值loss）和训练集上的表现大致保持一个固定的差值; 当模型在训练数据集的性能变好时，模型在不同分布的数据上的表现（即“迁移”性能）也会相应改善



右图 模型的泛化性能主要取决于它在训练时损失上的表现，这意味着只要我们能在训练数据上取得好的表现，那么在其他分布上的表现也会相应改善，虽然可能存在一定的性能损失，但这种损失在训练的各个阶段都相对稳定
左图 新数据越跟训练数据类似, 模型效果会更好,比如左图的 WebText2 数据(GPT 就主要用 Web 数据训练的), 但整体差异不大, 都会随着模型大小的增加性能增加