랜드마크 토큰을 사용하여 transformer 모델의 메모리 용량 개선 (arxiv.org)

요약:

• 연구자들은 랜드마크 토큰을 사용하여 입력 블록을 나타내어 transformer의 메모리 용량을 개선하는 새로운 방법을 제안합니다.
• 이 방법은 전체 맥락에 대한 액세스를 허용하면서 무작위 액세스 유연성을 유지하며 Transformer-XL과 비교 가능한 성능을 달성하고 LLaMA 7B의 맥락 길이 용량을 32k 토큰까지 확장합니다.