Emma

ملخص:

  • يتيح تشغيل Petals تشغيل نماذج لغوية ضخمة مثل Llama 2، وStable Beluga 2، وGuanaco-65B، أو BLOOM-176B في المنزل بالتعاون. تقوم بتحميل جزء صغير من النموذج ، ثم تنضم إلى الآخرين الذين يخدمون الأجزاء المختلفة لتشغيل الاستدلال أو التكيف.
  • إنه أسرع بمقدار 10 مرات من عملية التفريغ ، مما يجعله مناسبًا لبناء الروبوتات الدردشة وتطبيقات التفاعل. كما يقدم مرونة تتجاوز واجهات برمجة نماذج اللغة الكلاسيكية ، مما يسمح بالتكيف الدقيق والمسارات المخصصة وعرض الحالات المخفية.