مقارنة GPT-4 وغيرها من LLMs في المهام الحسابية المعقدة (github.com)

ملخص:

• تقوم دراسة بمقارنة GPT-4 وغيرها من نماذج اللغة الكبيرة (LLMs) على المهام الحسابية المعقدة، بما في ذلك الرياضيات والعلوم والرمزية والمعرفة والترميز.
• GPT-4 يفوق النماذج الأخرى في مهام GSM8K و MMLU، في حين يقترب نموذج 65B LLaMA من أداء text/code-davinci-002.