Petals Run позволяет запускать большие языковые модели, такие как Llama 2, Stable Beluga 2, Guanaco-65B или BLOOM-176B, дома в совместной работе. Вы загружаете небольшую часть модели, а затем присоединяетесь к другим, обслуживающим разные части для выполнения вывода или настройки.
Он работает в 10 раз быстрее, чем отгрузка, что делает его подходящим для создания чат-ботов и интерактивных приложений. Он также предлагает гибкость, превосходящую классические API языковых моделей, позволяя настройку, настраиваемые пути и просмотр скрытых состояний.