48GB M4 Pro 맥 미니로 Qwen 35B MoE와 Gemma를 상시 운용한 구성
- 저자는 48GB RAM M4 Pro Mac mini에 Qwen3.6-35B-A3B OptiQ 4bit, Gemma-4-E4B, oMLX와 Tailscale를 올려 약 30분 만에 상시 로컬 LLM 서버를 구성함
- Qwen 모델은 총 350억 파라미터가 256개 전문가에 나뉜 MoE이며 토큰마다 약 30억 파라미터만 활성화돼, 4비트 양자화 시 48GB 맥 미니에서 약 20GB RAM을 사용함
- 경량 작업용 Gemma-4-E4B 4비트 모델은 약 2.4GB RAM을 쓰며, 저자는 글 다듬기와 오류 설명 같은 일상 요청에는 이 모델을, 깊은 추론에는 Qwen을 사용함
- Hermes 백엔드를 맥 미니에서 실행하고 MacBook 데스크톱 앱과 Telegram으로 같은 대화 기록과 스킬을 공유하며, iOS Apollo는 Tailscale 주소의
/v1엔드포인트에 연결함 - 저자는 월 $200 구독 2개의 사용 한도를 자주 채운 경험을 들어, 로컬 모델이 GPT-5나 Claude Opus가 필요 없는 요청 약 80%를 비용 예측 가능하게 처리한다고 설명함
Hacker News opinions
16GB 미니 PC에도 여러 모델을 올릴 수는 있는데 성능이 너무 나쁨. 이 정도 로컬 모델을 실사용한다면 토큰 생성 속도를 꼭 공개했으면 함.
48GB M4 Pro에서 4비트 Gemma 4 26B A4B는 52tok/s, Qwen 3.5B A3B는 72tok/s 나옴. 내 용도에는 충분하지만 코딩 기능에는 안 쓸 것 같음.
성능 때문에 로컬을 돌릴 이유는 없다고 봄. 취미나 프라이버시 목적이면 몰라도, 수만 달러 장비가 필요한 성능을 프런티어 API는 원가보다 싸게 쓰게 해줌.
비슷한 장비에서 Bifrost와 llama-swap을 쓰고, 개인 미디어 추천용 배치 처리에 로컬 모델을 씀. 몇 분 걸려도 되는 비대화형 작업이라 괜찮지만, M5 Max 128GB에서 Qwen Coder와 OpenCode를 Claude Code와 비교하니 많이 답답했음.
Claude가 계획하고 Qwen이 밤새 실행한 뒤 Claude가 검토하는 흐름도 시험했는데, Qwen 결과를 고치느라 Claude 토큰을 더 썼음. 코딩은 결국 Codex와 Claude API로 돌아왔음.
대화형 로컬 사용은 RTX 5090으로 Qwen 3.8 27B를 돌리거나 DGX Spark 2대, RTX 6000 Blackwell 2장 정도는 있어야 할 만하다고 봄. 그런 장비는 단일 스트림 100tps 이상, 프리필 10ktps 이상이라 프라이버시와 가드레일 외에는 Claude Code보다 나은 점이 거의 없음.
비슷한 구성이지만 토큰 속도가 만족스럽지 않음. 성능 수치와 로컬 모델 2방향 음성 사용 여부도 궁금하고 oMLX는 시험해볼 생각임.
M1 64GB가 있어서 이 구성을 해보고 싶음. 실제 설치 과정을 이런 식으로 공유하는 글은 드물어서 유용했음.
M1 Pro 16GB에서 Qwen3.6 27B 1비트 모델을 돌려 5GB RAM으로 13tok/s를 얻었음.
M4 Max 128GB에서 로컬 LLM을 돌릴 때 가장 큰 문제는 프리필 지연이었음. DGX Spark 2대를 들인 뒤에는 훨씬 즉각적으로 느껴짐.
M5 Max는 행렬 곱 지원이 나아져 프리필 성능을 크게 고쳤음. M5 Ultra는 더 나아질 듯하고, Spark는 메모리 대역폭이 낮은 것이 맞바꿈 조건임.
M4 32GB 맥 미니에서 로컬 LLM을 여러 번 시험했지만 실망해서 더 좋은 하드웨어를 기다리기로 했음. OpenClaw의 웹 탐색과 지원 티켓 확인 같은 크론 작업에 썼고, 로컬 LLM과 리눅스의 OpenClaw 연결에는 Tailscale가 잘 맞았음.
그 결론을 내리기 전에 Qwen 3.8 27B는 시험했는지 궁금함. 3.6보다 조금 나아졌고, 오래된 모델만 돌려봤다면 비교가 달라질 수 있음.
작은 로컬 모델을 개발용으로 반복 시험할 때 M4 Pro는 괜찮았음. 클라우드 인스턴스를 매번 띄우는 것보다 편함.
Qwen 3.5 4B와 9B 같은 작은 모델은 범용 코딩 에이전트로 쓰기보다 전용 하네스를 짜야 제대로 작동함. 16GB M4 맥 미니에서 캘린더, 연락처, 금융처럼 목적을 좁힌 프롬프트와 로컬 그래프 검색을 결합해 시험 중이고, 하네스 작성은 Codex와 Claude Code도 함께 씀.