Große Sprachmodelle haben Schwierigkeiten bei der Code-Generierung, wenn Funktionsnamen vertauscht werden (arxiv.org)

Zusammenfassung:

• Große Sprachmodelle (LLMs) scheitern daran, korrekten Python-Code zu generieren, wenn Standard-Funktionsnamen geändert werden.
• Wenn die Modellgröße zunimmt, werden einige LLMs in ihrer Fehlvorhersage selbstbewusster, ein Phänomen, das als Inverse Skalierung bezeichnet wird.