Sophia : un optimiseur de deuxième ordre pour la formation de modèles de langage (arxiv.org)

Résumé:

• Sophia est un nouvel algorithme d'optimisation stochastique clipé de deuxième ordre qui améliore l'efficacité de la formation de modèles de langage.
• L'optimiseur atteint une accélération de 2x par rapport à Adam et s'adapte à la courbure dans différentes composantes des paramètres.