Petals Run permite que você execute grandes modelos de linguagem como Llama 2, Stable Beluga 2, Guanaco-65B ou BLOOM-176B em casa, de forma colaborativa. Você carrega uma pequena parte do modelo e, em seguida, se junta a outros para servir as diferentes partes para executar inferência ou afinação fina.
É até 10 vezes mais rápido do que a transferência de carga, o que o torna adequado para construir chatbots e aplicativos interativos. Ele também oferece flexibilidade além dos APIs de modelo de linguagem clássicos, permitindo afinação fina, caminhos personalizados e visualização de estados ocultos.