Petals Run te permite ejecutar modelos de lenguaje grandes como Llama 2, Stable Beluga 2, Guanaco-65B o BLOOM-176B en casa, de manera colaborativa. Cargas una pequeña parte del modelo y luego te unes a otros que sirven las diferentes partes para ejecutar inferencias o ajustes finos.
Es hasta 10 veces más rápido que la descarga externa, lo que lo hace adecuado para construir chatbots y aplicaciones interactivas. También ofrece flexibilidad más allá de las API de modelos de lenguaje clásicos, permitiendo ajustes finos, rutas personalizadas y visualización de estados ocultos.