Nvidia ने एक ओपन सोर्स सॉफ़्टवेयर, TensorRT-LLM, की घोषणा की है, जो बड़े भाषा मॉडल इनफरेंस की प्रदर्शन को बेहतर बनाता है, जिससे H100 GPUs पर इनफरेंस की गति को दोगुना किया जाएगा। यह सॉफ़्टवेयर, प्रमुख टेक कंपनियों के साथ सहयोग से विकसित किया गया है, और यह आगामी हफर GPUs के लिए आने वाले हफर लोवलेस और हॉपर GPUs के लिए उपलब्ध होगा।
TensorRT-LLM ने Nvidia के GPUs के उपयोग को अधिकतम करने के तकनीकों को समाहित किया है और बेंचमार्क परिणामों में प्रभावशाली लाभ दिखाए हैं। यह प्रसिद्ध मॉडल को आसानी से लगाने में सहायक है, जिससे लागत कम होती है और कार्यक्षमता बढ़ती है। यह सॉफ़्टवेयर Nvidia के H100 और भविष्य के हॉपर-आधारित सिस्टमों को AI क्षेत्र में महत्वपूर्ण फायदा प्रदान कर सकता है।