A Nvidia anunciou um software de código aberto, TensorRT-LLM, que melhora o desempenho da inferência de modelos de linguagem grandes, dobrando efetivamente a velocidade em suas GPUs H100. O software, desenvolvido em colaboração com empresas líderes de tecnologia, deverá ser lançado nas próximas semanas para as GPUs Ampere Lovelace e Hopper.
O TensorRT-LLM incorpora técnicas para maximizar a utilização das GPUs da Nvidia e tem apresentado ganhos impressionantes nos resultados dos benchmarks. Ele torna os modelos populares facilmente implementáveis, reduzindo custos e aumentando a eficiência. Esse software poderia dar às GPUs H100 da Nvidia e aos futuros sistemas baseados em Hopper uma vantagem significativa no campo da IA.