Nvidia ha anunciado un software de código abierto, TensorRT-LLM, que mejora el rendimiento de la inferencia de modelos de lenguaje grandes, duplicando efectivamente la velocidad en sus GPU H100. Se espera que el software, desarrollado en colaboración con destacadas empresas de tecnología, se lance en las próximas semanas para las GPU Ampere Lovelace y Hopper.
TensorRT-LLM incorpora técnicas para maximizar la utilización de las GPU de Nvidia y ha mostrado ganancias impresionantes en los resultados de referencia. Facilita la implementación de modelos populares, reduciendo costos y aumentando la eficiencia. Este software podría dar a los sistemas H100 de Nvidia y a los futuros sistemas basados en Hopper una ventaja significativa en el campo de la IA.