Nvidia hat eine Open-Source-Software namens TensorRT-LLM angekündigt, die die Leistung von Inferenzen großer Sprachmodelle verbessert und die Geschwindigkeit auf ihren H100-GPUs effektiv verdoppelt. Die in Zusammenarbeit mit führenden Technologieunternehmen entwickelte Software wird voraussichtlich in den kommenden Wochen für Ampere Lovelace- und Hopper-GPUs veröffentlicht.
TensorRT-LLM nutzt Techniken zur Maximierung der Auslastung von Nvidias GPUs und hat beeindruckende Ergebnisse in Benchmark-Tests gezeigt. Beliebte Modelle können einfacher bereitgestellt werden, was zu Kostenreduktionen und einer erhöhten Effizienz führt. Diese Software könnte Nvidias H100- und zukünftigen Hopper-basierten Systemen einen erheblichen Vorteil im Bereich Künstliche Intelligenz verschaffen.