Petals Run을 사용하면 Llama 2, Stable Beluga 2, Guanaco-65B 또는 BLOOM-176B와 같은 대규모 언어 모델을 집에서 협업하여 실행할 수 있습니다. 모델의 작은 부분을 로드한 다음 다른 사람들이 서로 다른 부분을 제공하여 추론이나 세밀 조정을 실행합니다.
이는 오프로딩보다 최대 10배 빠르며, 챗봇 및 상호작용 앱 구축에 적합합니다. 또한 세밀 조정, 사용자 정의 경로 및 숨겨진 상태 보기와 같은 클래식 언어 모델 API를 뛰어넘는 유연성을 제공합니다.