Modelos de linguagem autoregressivos podem aprender a preencher texto simplesmente movendo um trecho de texto do meio de um documento para o final.
O treinamento de modelos com uma grande fração de dados transformados não prejudica a capacidade gerativa original da esquerda para a direita, além de ser útil, simples e eficiente.