Sophia: 言語モデルトレーニングのための2次最適化手法 (arxiv.org)

サマリー:

• Sophiaは、言語モデルトレーニングの効率を改善する新しい2次クリップド確率的最適化アルゴリズムです。
• この最適化手法は、Adamと比較して2倍の高速化を実現し、パラメータの異なるコンポーネントの曲率に適応します。