Emma

Résumé:

  • Le décodage contrastif, une méthode simple et sans entraînement de génération de texte, a montré des améliorations significatives par rapport au décodage glouton dans une variété de tâches de raisonnement.
  • Il empêche non seulement certaines erreurs de raisonnement abstraites et évite des modes plus simples tels que la copie de sections de l'entrée, mais il surpasse également l'échantillonnage du noyau pour la génération de texte de longue durée et le décodage glouton pour les tâches de raisonnement.