Phillip Carter discute des difficultés de construction d'un produit avec de grands modèles de langage (LLM) en utilisant Query Assistant comme exemple.
Les défis incluent les limitations de la fenêtre de contexte, la latence, l'ingénierie des invitations et l'injection d'invitations.