Qwen3.8 27B, 17GB 4비트 양자화가 Terminal-Bench에서 BF16과 동점

16GB 미만 카드가 실제 분기점인데 Q3 구간 측정이 빠져 있음. 5080, 5070 Ti, 5060 Ti 같은 카드에서 품질이 꺾이는 지점을 봐야 함

난 Q3 XL과 Q3 XS 중 어느 쪽을 쓸지 고민 중임

RX 9070 XT에서 Q3를 32k 컨텍스트로 돌리면 초당 32토큰 정도 나옴. 큰 작업은 컨텍스트 창이 막지만 성능 자체는 꽤 쓸 만해서 64k까지 늘려볼 생각임

ISTA-DASLab의 동적 3비트 GSQ-RCO GGUF도 시험해볼 만함. 일반 3비트보다 낫다는 얘기는 있는데 새 Unsloth 동적 양자화와 비교한 결과는 아직 모르겠음

글의 Wilson 95% 신뢰구간을 실행 간 변동성이라고 부른 건 틀림. 신뢰구간은 실행마다 결과가 얼마나 흔들리는지 말해주지 않음

지적은 맞음. 같은 Terminal-Bench 2.1 문제를 다시 푼 것이니 어려운 문제와 쉬운 문제가 고정돼 있을 가능성이 크고, 제대로 추정하려면 최소 두 번 이상 반복 실행해야 한다고 봄. 난 베이즈 방식이 더 맞다고 생각함

M1 Max 64GB에서는 토큰 속도가 너무 낮아서 로컬이 꼭 필요한 역공학 작업이 아니면 MiMo V2.5나 DeepSeek V4 Flash API를 쓰는 편이 더 싸게 느껴짐

같은 M1 Max 64GB라도 MTPLX를 쓰면 초당 약 30토큰 나옴

난 밤에 작업을 걸어두고 둠. 토큰 구독 한도를 태울 일도 없고, 관리 도구를 붙여 몇 시간 걸리게 두면 됨

RTX 3090에서 Qwen3.8-27B UD-Q4_K_M로 에이전트 작업을 돌렸는데 내 기준에는 충분히 쓸 만한 속도였음. 다만 같은 양자화의 Qwen3.6-35B-A3B가 더 빠름

Q4가 Terminal-Bench에서 BF16과 같았다는 데이터 자체는 유용함

5060 Ti에서 Unsloth IQ3_S와 speculative decoding을 조합해 프리필은 초당 600-1000토큰, 생성은 초당 30-50토큰을 얻고 있음. 코딩 작업에서는 드래프트 토큰 수용률이 약 70%임

글의 문장과 그래프는 축도 비선형이고 라벨도 모호해서 읽기 불편함. 그래도 이 평가들에서 생성 품질이 꽤 유지된다는 결론은 공유할 가치는 있어 보임

AI가 글쓰기에 썼는지보다 글이 흥미롭고 정확하게 주장을 압축했는지로 판단하면 됨. 쓸데없는 문단을 길게 쓰는 건 사람도 할 수 있는 일임

난 읽을 시간은 한정돼 있으니 지저분한 글을 끝까지 읽을 이유가 없다고 봄