Mit Petals Run können Sie große Sprachmodelle wie Llama 2, Stable Beluga 2, Guanaco-65B oder BLOOM-176B zu Hause gemeinsam ausführen. Sie laden einen kleinen Teil des Modells und schließen sich dann anderen an, die die verschiedenen Teile bedienen, um Inferenz oder Feinabstimmung durchzuführen.
Es ist bis zu 10-mal schneller als das Auslagern und eignet sich daher zum Erstellen von Chatbots und interaktiven Apps. Es bietet auch Flexibilität über klassische Sprachmodell-APIs hinaus, ermöglicht Feinabstimmung, benutzerdefinierte Pfade und das Anzeigen versteckter Zustände.