Emma

Resumen:

  • Los investigadores presentan un nuevo enfoque para mejorar las capacidades de memoria de los transformadores mediante el uso de tokens de referencia para representar bloques de entrada.
  • Este método permite acceder a todo el contexto mientras se mantiene la flexibilidad de acceso aleatorio, logrando un rendimiento comparable con Transformer-XL y extendiendo la capacidad de longitud de contexto de LLaMA 7B hasta 32k tokens.