Les modèles de langage autoregressifs peuvent apprendre à remplir le texte en déplaçant simplement une partie de texte du milieu d'un document vers sa fin.
L'entraînement de modèles avec une grande proportion de données transformées ne nuit pas à la capacité générative originale de gauche à droite, et est utile, simple et efficace.