큰 언어 모델은 기능 이름이 바뀔 때 코드 생성에 어려움을 겪습니다 (arxiv.org)

요약:

• 큰 언어 모델 (LLM)은 기본 함수 이름이 변경될 때 올바른 Python 코드를 생성하지 못합니다.
• 모델 크기가 커질수록 일부 LLM은 잘못된 예측에 대한 신뢰도가 높아지는 Inverse Scaling 현상이 발생합니다.