Nvidia a annoncé un logiciel open source, TensorRT-LLM, qui améliore les performances de l'inférence des modèles de langage de grande taille, en doublant efficacement la vitesse sur ses GPU H100. Le logiciel, développé en collaboration avec des grandes entreprises technologiques, devrait être publié dans les prochaines semaines pour les GPU Ampere Lovelace et Hopper.
TensorRT-LLM intègre des techniques pour maximiser l'utilisation des GPU de Nvidia et a montré des gains impressionnants dans les résultats des tests. Il rend les modèles populaires facilement déployables, réduisant les coûts et augmentant l'efficacité. Ce logiciel pourrait donner aux systèmes H100 de Nvidia et aux futurs systèmes basés sur Hopper un avantage significatif dans le domaine de l'IA.