Contrastive Decoding Improves Text Generation and Reasoning Tasks (arxiv.org)

요약:

• 단순하고 학습 무료인 Contrastive Decoding은 다양한 추론 작업에서 욕심쟁이 디코딩보다 상당한 개선을 보였습니다.
• 이는 일부 추상 추론 오류를 방지하고 입력의 일부를 복사하는 등 간단한 모드를 피할 뿐만 아니라, 장문 생성에서 핵심 샘플링보다 뛰어나며, 추론 작업에서 욕심쟁이 디코딩보다 우수한 성능을 보여줍니다.