Petals Run大规模语言模型在家中以BitTorrent的方式运行 (petals.dev)

概要:

• Petals Run允许您在家中协作运行大型语言模型，如Llama 2、Stable Beluga 2、Guanaco-65B或BLOOM-176B。您加载模型的一小部分，然后加入其他人提供不同部分来运行推理或微调。
• 它比离线加载快10倍，适用于构建聊天机器人和交互式应用程序。它还提供了经典语言模型API之外的灵活性，允许微调、自定义路径和查看隐藏状态。