文本填充的語言模型有效訓練 (openai.com)

摘要:

• 自回歸語言模型可以通過將文檔中的文本跨度從中間移動到末尾來學習填充文本。
• 使用大量轉換數據訓練模型不會損害原始的從左到右的生成能力，並且是有用、簡單和高效的。