Grandes Modelos de Linguagem têm dificuldade com a geração de código quando nomes de função são trocados (arxiv.org)

Resumo:

• Grandes Modelos de Linguagem (LLMs) falham na geração de código Python correto quando nomes de função padrão são alterados.
• À medida que o tamanho do modelo aumenta, alguns LLMs se tornam mais confiantes em previsões incorretas, um fenômeno chamado de Escala Inversa.