13년 된 무GPU Xeon 서버에서 Gemma 4 26B를 초당 5토큰으로 구동, 진짜 버그는 초기화 안 된 메모리 출력

나 글쓴이임. 며칠 전 화제됐던 글은 2016년 Xeon에서 Gemma 4 돌린 거였는데 내 Xeon은 2013년산이라 ik_llama.cpp 포크가 요구하는 AVX2가 없어서 빌드부터 터졌음. 진짜 재밌는 버그는 따로 있었는데, MoE 연산 두 개가 non-AVX2 빌드에서 디스패치 케이스가 없어서 초기화 안 된 메모리를 그냥 출력값으로 써버리는 거였음. NaN도 안 뜨고 결정론적으로 그럴싸한 다국어 헛소리를 만들어냄. 패치는 PR #2138로 올려서 리뷰 기다리는 중이고, 패치 자체는 Claude가 내 지시로 작성한 거 맞음.

이거 딱 봐도 AI가 쓴 글 같은데, HN 가이드라인 위반 아니야?

나는 같은 13년 된 CPU에서 8~12 t/s 나오던데. 컨텍스트 크기나 설정에 따라 다르긴 함.

근데 그건 Q4 쓴 거고 원글은 Q8 아니야? 양자화 레벨이 다르면 속도 비교가 의미 없지.

나도 듀얼 Xeon에 DDR4 256GB, GPU 없이 여러 모델 돌려본 결과 정리해서 gist에 올렸음.

싱글 CPU로 돌려서 NUMA 페널티 없앤 버전도 테스트해봤어? 메모리는 반으로 줄겠지만 그게 성능에 얼마나 영향 주는지 궁금함.

이 글에 램 용량이 안 나와서 궁금했는데, 384GB 서버에 모델 로딩에는 80GB 정도만 쓴다고 저자가 댓글로 밝혔더라.

속도보다 컨텍스트 윈도우가 진짜 관건임. 실사용에서는 토큰/초보다 컨텍스트 길이가 병목이 됨.

Gemma 4 26B는 256k나 262k까지 지원한다고 알고 있음. 이 저자 세팅이 그 컨텍스트 길이에 영향 주는지는 모르겠음.

2027년 중반이면 200B 넘는 MoE 모델을 일반 소비자 하드웨어에서 돌릴 수 있을 거라 봄. 나는 지금 16GB 맥에서 Qwen3.6-35B-A3B를 7~9 t/s로 돌리고 있음.

79 t/s는 절대 decent한 속도 아님. 최소 1216 tps는 넘어야 쓸만하다고 봄.

그 모델로 직접 만든 링크한 프로젝트를 빌드한 게 아니라 다른 협업자가 있었던 것 같은데, 진짜 그 모델+툴로 뭔가 만든 걸 보여주는 게 낫지 않을까.

며칠 전 나온 Prism의 Bonsai 27B 삼진법 모델은 7GB 크기로 M4 Max에서 44 t/s 넘게 나온다고 함. 활성 파라미터 기준으로 보면 이미 200B급 모델 근처에 온 거라 생각보다 빨리 올 수도 있음.

2013년 맥프로(듀얼 그래픽카드 있지만 이 작업엔 무용지물)에서 똑같이 Gemma 4 26B 돌려봤는데 나도 5 t/s 나옴. 느리긴 해도 몇몇 작업엔 충분히 쓸만함.