결정 모델 Jev의 비용 구조와 decision hierarchy 제안
- Jev 1.13은 선택지를 미리 정해 두고 각 답에 확률을 붙여 돌려주는 결정 모델임, 예시 리뷰 평가에서는 score 1.48과 Happy 확률 0.51, Thrilled 확률 0.49를 냄
- 출력 토큰은 사실상 공짜에 가깝고 비용은 입력 토큰 읽기에서 나옴, 40만 건 기준으로 GPT-5 nano가 약 $13(캐시 적용 시 $8.5)인 데 비해 Jev는 약 $4.2로 추정함
- 저자는 캐시, Jev와 결정 모델, LLM, 사람 순서의 decision hierarchy를 메모리 계층에 빗대어 제안함, 각 단계가 자신 있는 입력만 처리하고 나머지는 아래 단계로 넘김
- 응답 여부는 1970년 Chow의 규칙으로 정함, 최고 확률 pmax가 임계값 T 이하이면 해당 단계가 답을 거부하고 다음 단계로 넘김