Nvidia анонсировала открытое программное обеспечение TensorRT-LLM, которое улучшает производительность вывода больших языковых моделей, эффективно удваивая скорость на графических процессорах H100. Разработанное в сотрудничестве с ведущими технологическими фирмами, ожидается, что данное программное обеспечение будет выпущено в ближайшие недели для графических процессоров Ampere Lovelace и Hopper.
TensorRT-LLM включает в себя техники для максимального использования графических процессоров Nvidia и показал впечатляющие результаты в бенчмарках. Оно позволяет легко развертывать популярные модели, снижая затраты и повышая эффективность. Это программное обеспечение может дать графическим процессорам H100 и будущим системам на основе Hopper значительное преимущество в области искусственного интеллекта.