أعلنت Nvidia عن برنامج مفتوح المصدر، TensorRT-LLM، الذي يحسن أداء الاستدلال لنماذج اللغة الكبيرة، حيث يزدوج بشكل فعال السرعة على بطاقات H100 الخاصة بها. من المتوقع إصدار البرنامج في الأسابيع القادمة لبطاقات Ampere Lovelace و Hopper.
يضمن TensorRT-LLM استخدام تقنيات لتحقيق أقصى استفادة من وحدات المعالجة الرسومية الخاصة بـ Nvidia وقد أظهرت نتائج الاختبار البارزة تقدمًا ملحوظًا. يجعل البرنامج النماذج الشائعة قابلة للنشر بسهولة، مما يقلل التكاليف ويزيد الكفاءة. يمكن أن يمنح هذا البرنامج أنظمة Nvidia H100 وأنظمة Hopper المستقبلية ميزة كبيرة في مجال الذكاء الاصطناعي.