Nvidia的新软件使H100 GPU的推理速度翻倍 (aibeat.co)

概要:

• Nvidia宣布推出一款名为TensorRT-LLM的开源软件，可以提高大型语言模型推理的性能，在其H100 GPU上将速度翻倍。这款软件与领先的科技公司合作开发，预计将在未来几周内发布，适用于Ampere Lovelace和Hopper GPU。
• TensorRT-LLM采用了最大化利用Nvidia GPU的技术，并在基准测试结果中展示了令人印象深刻的性能提升。它可以轻松部署流行的模型，降低成本并提高效率。这款软件可能为Nvidia的H100和未来基于Hopper的系统在人工智能领域提供重要优势。