Nvidia的新軟體能夠將H100 GPU的推論速度翻倍 (aibeat.co)

摘要:

• Nvidia宣布了一款名為TensorRT-LLM的開源軟體，能夠提高大型語言模型推論的性能，有效將H100 GPU的速度翻倍。該軟體是與領先的科技公司合作開發的，預計將在未來幾週內釋出，適用於Ampere Lovelace和Hopper GPU。
• TensorRT-LLM採用了最大化利用Nvidia GPU的技術，並在基準測試結果中取得了顯著的增益。它使得流行的模型易於部署，降低成本並提高效率。該軟體可能使Nvidia的H100和未來的Hopper系統在人工智慧領域中具有顯著的優勢。