शोधकर्ताओं ने इनपुट ब्लॉक का प्रतिनिधित्व करने के लिए लैंडमार्क टोकन का उपयोग करके ट्रांसफॉर्मर की मेमोरी क्षमताओं को बेहतर करने के लिए एक नई दृष्टिकोण पेश किया है।
इस तरीके से पूरे संदर्भ तक पहुंच मिलती है जबकि रैंडम-एक्सेस लचीलापन बरकरार रहता है, ट्रांसफॉर्मर-एक्सएल और LLaMA 7B के समान प्रदर्शन हासिल करते हुए एलएलएमए की संदर्भ लंबाई क्षमता को 32k टोकन तक बढ़ाया जाता है।