LLM에게 확신도 점수를 맡기면 안 되는 이유

LLM은 결국 다음 토큰 예측기라는 걸 계속 상기해야 함. 하네스로 감싸고 가중치나 시스템 프롬프트로 확률을 바꿀 수 있어도 할 수 있는 건 그게 전부임. 쓸모는 있지만 실패할 때 왜 그런지 떠올리고 솔직하게 봐야 함.

추론과 추론처럼 보이는 예측의 차이가 뭔지 모르겠음.

그 논리면 튜링 머신은 테이프 돌리는 거고 사람 뇌는 지질 덩어리 화학물질인데 다 똑같다는 얘기 아님?

'다음 단어 예측기'는 너무 느린 과정처럼 들림. 그럼 문장 예측기나 문단 예측기라고 해야 하는 거 아님? 원리는 똑같은 것 같음.

주관적인 작업에 쓰는 건 대부분 틀린 방법임.

LLM이 평가나 채점을 하면 평균인의 취향을 따라감. 평균인 취향은 파생된 슬롭을 좋아하는 경향이 있어서 독창성을 감점 안 하면 점수가 이상하게 나옴.

확신도 보정은 라벨 달린 캘리브레이션 세트 없이는 못 함. 확신도는 데이터 집단 기준으로 구간별로 검증하는 거지 개별 예측 하나를 검증할 수는 없음. Jev도 특정 세트로 보정했다고 하는 건 좀 수상함.

RL로 날씨나 게임 결과를 보상 목표로 학습시키면 확신도 감각도 생길 수 있다고 봄. 아직은 회의적이지만 막 배제하긴 어려움.

통계 공부할 때 모델 만드는 데 10%, 결과 해석에 90%를 썼음. 요즘은 evals를 제대로 하는 곳이 드물고 해석 책임이 소비자한테 넘어가는 것 같음.

회사에서 LLM에게 텍스트 등급이랑 신뢰구간을 매기게 하는데 결과가 안 믿음직함. 전문가가 설계했다니까 처음엔 믿었음.

선택지 라벨만 출력 토큰으로 제한해서 다음 토큰 확률을 쓰면 안 됨? 선택지 순서를 섞어서 편향을 줄이면 그럴듯함. Qwen은 A랑 D를 좋아함.

글쓴이가 LLM 확신도가 실제로 얼마나 맞는지 데이터로 보여줬으면 좋았을 텐데, 그냥 아첨 경향 때문에 나쁘다고만 함. 측정 가능한 걸로 모으면 생각보다 안 틀릴 것 같음.