145B 모델을 노트북에서 29GB로? Edge0 공개에 HN은 Qwen 파인튜닝 의혹부터 제기
- Edge0-145B는 145B 파라미터 온디바이스 모델로 최대 29GB 메모리, 80 tokens/s 이상 디코드, 1,100 tokens/s 이상 프리필, 약 120W 전력을 보고함
- 64개 전문가 그룹이 두 개의 큰 행렬을 공유하고 각 전문가가 작은 차이 파라미터만 보관해, 145B 중 매 추론 단계에서 약 10B만 계산에 참여함
- 가중치와 추론 프레임워크(Strata 포크인 edge0-strata), 배포 도구를 함께 공개했고 128K~256K 문맥에서도 속도가 거의 유지된다고 밝힘
- HN에서는 Qwen3.8-Flash-Next 파인튜닝에 Strata 포크를 브랜딩한 것 아니냐는 지적과, 라이선스가 오픈소스 기준을 못 맞춘다는 반박이 나옴
- 공개된 NVFP4 체크포인트는 Blackwell 전용이고 맥 런타임은 아직 없어, 블로그의 맥북 지원 문구와 어긋남
Hacker News 의견들
오픈소스라고 홍보하는데 이건 오픈 웨이트지. 그것도 라이선스가 너무 제한적이라 오픈 웨이트 기준도 못 맞춘다는 얘기가 나옴.
허깅페이스 페이지에 베이스 모델이 Qwen3.8-Flash-Next로 찍혀 있더라. Strata 포크해서 이름만 edge0-strata로 바꾸고 마케팅 얹은 것 같은데.
근데 Strata가 원래 llama.cpp보다 2.5~3배 빠르긴 했으니까 전문가 공유까지 넣었으면 말은 됨. 나는 2x 3090에 128GB로 3.8 Flash Next 잘 돌리고 있음.
터미널벤치 점수가 5.6 Terra max 급이면 bash 많이 쓰는 코딩 에이전트한테는 실제 체감이랑 꽤 맞아떨어짐. 한번 돌려볼 만하다고 봄.
NVFP4로만 올라와서 사실상 Blackwell 전용임. CUDA 13 밖에선 안 돌아갈 테고 GGUF 나오려면 한참 기다려야 함.
블로그엔 맥북에서 돌아간다고 써놓고 정작 맥 런타임은 안 냈음. M2 Ultra 벤치만 찍어놓고.
145B가 29GB에 들어간다는 게 이해가 안 됨. 4비트만 해도 72GB인데. 문맥 메모리는 또 따로 들고.
Blender 예제는 진짜 놀랍더라. 예전엔 에이전트가 만든 결과물 정리하다 시간 다 날렸는데 요즘은 SVG 같은 건 사람이 만든 것만큼 깔끔하게 뽑음.
회로 배치는 좀 다름. 부품 밀도 높아지면 Fable 5.2도 레이어 안에서 헤매기만 하고 사람처럼 배치를 직관하지 못하더라.
회사 정보가 왜 홈페이지에 이렇게 없냐. 뭔가 수상한 냄새 남.
모델 파라미터 추이 그래프를 굳이 넣어준 건 웃기네.
120B는 왜 낸 거임? 48GB 맥북에 맞추려고 낸 거 같은데.
SSD 느리고 램 많은 사람은 그냥 다 올려서 쓰면 되나? 램디스크 만들어야 하는 건지 궁금함.