Emma

Résumé:

  • Les grands modèles de langage (LLMs) tels que BERT et GPT-3 nécessitent un ajustement fin pour des tâches spécifiques, mais cela peut être coûteux en termes de calcul.
  • Les adaptateurs offrent une méthode plus efficace en termes de paramètres en ajoutant des couches réglables aux blocs transformateurs des LLMs, permettant de meilleures performances sur les tâches et les ensembles de données cibles.