FUDGE: Controlled Text Generation With Future Discriminators

기존 문제

• Controlled Text Generation에 여러가지 방법이 있음

• CCLM: GPT-2같은 일반 LM을 특정 도메인 corpus로 직접 Finetune하는 방법

• PPLM: GPT-2 output에 final layer에 Linear Gradient ascending 붙여서 특정한 Attribute로 제어

FUDGE

• Language Model G
• G의 Random Var P(x)

• 우리가 구하고자 하는 것은 로 조건에 따른 Generation (conditioning)
• 이때 직접적으로 를 구하는 방법이 → CCLM

• fudge에서는 를 따르는 Bayesian factorization을 이용
• 이 부분은 GeDI에서 사용한 방법론과 거의 흡사하다.
• Prediction Model → P(a|x_1:i)는 '완성된 문장'에 대한 Classifier
• 즉, Top-200(Top-k) 샘플링된 것에 대해 classifier(LSTM기반)
• 여기서는 200번에 대해 inference 하는 것에 대한 Computing cost에 대해 Excuse가 없음