理解古德哈特定律及其在OpenAI的應用 (openai.com)

摘要:

• 古德哈特定律指出，當一個測量指標成為目標時，它就不再是一個好的測量指標，而這是OpenAI必須考慮的概念，當優化難以測量或成本高昂的目標時。
• OpenAI使用代理目標，例如獎勵模型，來優化複雜目標，如幫助性和事實準確性，並採用最佳n採樣作為簡單的方法來優化代理目標。