Nvidia는 H100 GPU에서 큰 언어 모델 추론의 성능을 향상시키는 TensorRT-LLM이라는 오픈 소스 소프트웨어를 발표했습니다. 이 소프트웨어는 주요 기술 회사와의 협력으로 개발되었으며 Ampere Lovelace 및 Hopper GPU를 대상으로 다음 몇 주 내에 출시될 예정입니다.
TensorRT-LLM은 Nvidia의 GPU 활용도를 극대화하기 위한 기술을 통합하였으며 벤치마크 결과에서 인상적인 성능 향상을 보여주었습니다. 인기 있는 모델을 쉽게 배포할 수 있도록 하여 비용을 절감하고 효율성을 높일 수 있습니다. 이 소프트웨어는 Nvidia의 H100 및 향후 Hopper 기반 시스템에 인공지능 분야에서 상당한 우위를 제공할 수 있습니다.