Sophia：用于语言模型训练的二阶优化器 (arxiv.org)

概要:

• Sophia是一种新的二阶剪切随机优化算法，可提高语言模型训练效率。
• 该优化器相对于Adam实现2倍加速，并适应参数不同组件的曲率。