ランドマークトークンを使用してトランスフォーマーモデルのメモリ能力を改善する (arxiv.org)

サマリー:

• 研究者たちは、ランドマークトークンを使用して入力ブロックを表現する新しいアプローチを提案し、トランスフォーマーのメモリ能力を改善しました。
• この方法により、ランダムアクセスの柔軟性を維持しながら、全体のコンテキストにアクセスでき、Transformer-XLと同等の性能を達成し、LLaMA 7Bのコンテキスト長を32kのトークンまで拡張できます。