Desafios na Construção de Produtos com Modelos de Linguagem Grandes (honeycomb.io)

Resumo:

• Phillip Carter discute as dificuldades em construir um produto com Modelos de Linguagem Grandes (LLMs) usando o Query Assistant como exemplo.
• Os desafios incluem limitações de janela de contexto, latência, engenharia de prompts e injeção de prompts.