対照的デコーディングはテキスト生成と推論タスクを改善する (arxiv.org)

サマリー:

• 対照的デコーディングは、単純でトレーニングフリーのテキスト生成方法であり、さまざまな推論タスクにおいてグリーディデコーディングに比べて大幅な改善を示しています。
• これにより、抽象的な推論エラーや入力の一部をコピーするなどのより簡単なモードを防ぐだけでなく、長文生成においては核サンプリングを上回り、推論タスクにおいてはグリーディデコーディングを上回ります。