Les chercheurs présentent une nouvelle approche pour améliorer les capacités de mémoire des transformateurs en utilisant des jetons de repère pour représenter des blocs d'entrée.
Cette méthode permet d'accéder à l'ensemble du contexte tout en maintenant la flexibilité d'accès aléatoire, atteignant des performances comparables à Transformer-XL et étendant la capacité de longueur de contexte de LLaMA 7B jusqu'à 32 000 jetons.