RL로 어려운 문제 못 푸는 이유: 초기 실력에 비례해 성능이 오르는 매튜 효과
- 올모 3.1 RL-Zero Math의 AIME 2025 평가를 초기 정답률로 easy/medium/hard로 나누면, 초기 pass@32가 0인 최난도 문제는 학습이 끝나도 대부분 pass@32가 0에 머물고 개선은 쉬운 문제에 집중됨
- 저자는 이 편향을 매튜 효과(부익부 빈익빈)라 부르고, RL이 모델의 초기 역량에 비례해 성능을 높인다고 정의함. 즉 쉬운 과제는 더 쉬워지고 어려운 과제는 어려운 채로 남음
- 같은 경향이 수학(AIME)뿐 아니라 코드 RL(DeepCoder, LCBv6)과 에이전트 RL(DeepSWE, SWEBench)에서도 나타나, RL 이득이 문제 난이도에 비례함
- GRPO의 신호 손실 가설을 GSM8k platinum에서 Qwen 2.5 0.5B Instruct로 검증한 결과, k=32보다 n=64, k=4 조합이 어려운 문제 해결에 더 나았음. 샘플 수를 늘리는 통상적 처방이 역효과임
- 저자는 이 문제를 겨냥해 Never Give Up 방법을 논문과 코드로 공개함