Pre-LN Transformer巧置LayerNorm使Transformer加速收敛

论文地址

ICML 2020 | 摆脱warm-up!巧置LayerNorm使Transformer加速收敛

什么是模型的warm-up阶段?

在模型训练中,直觉上应该是在开始时将学习率设置的稍大,然后逐渐的衰减或者直接将学习率设置为常数。但是在Transformer的训练上这两种策略均不能很好的使模型进行收敛,于是在优化 Transformer 结构时,除了设置初始学习率与它的衰减策略,往往还需要在训练的初始阶段设置一个非常小(接近0)的学习率,让它经过一定的迭代轮数后逐渐增长到初始的学习率,这个过程也被称作 warm-up 阶段。
Warm-up 是原始 Transformer 结构优化时的一个必备学习率调整策略。Transformer 结构对于 warm-up 的超参数(持续轮数、增长方式、初始学习率等)非常敏感,若调整不慎,往往会使得模型无法正常收敛。

Pre-LN Transformer

Pre-LN Transformer就是将LayerNorm层提前到了Multi-head Self-Attention层和FNN层的前面,可以使得Transformer的训练加速收敛,摆脱warm-up的阶段。结构如下图。

理论证明请看论文。

发表回复

您的电子邮箱地址不会被公开。