Unsloth, Qwen3.8-27B GGUF에 Dynamic V3.1 적용해 같은 크기에서 정확도 5-10% 향상

뉴스 알림

내 알림

로그인하고 알림을 만들어 보시기 바랍니다

전체 알림

해커뉴스

러스트·ratatui 터미널 공장 게임 '터미나트리' 쇼HN 공개, AI 에이전트가 게임 안으로 쪽지 보냄 엔비디아, DGX Station 두 대와 vLLM으로 GLM-5.3 서빙해 초당 607.8 토큰 달성 구글, Gemini 4와 Antigravity /teamwork로 수학·화학·커널 최적화 공동 연구 결과 공개 미시간대 연구: 비영어 텍스트에 최대 180배 에너지, 벵골어는 15.3배인데 정확도는 더 낮아 PyPI 프로젝트 페이지 개편 완료, 새 보안 탭에서 출처 증명 상태 표시 이탈리아, 안드로이드 사진 무단 접근으로 메타에 8억 8,700만 달러 과징금 KDE 30년사 다룬 다큐멘터리 공개, 1996년 Usenet 모집글에서 시작된 이야기 Lovable 앱 15만9천 개 분석, 여권번호와 채팅 20만 건이 로그인 없이 노출 EFF, 스마트 안경과 상시 녹음 웨어러블이 주변 사람의 동의를 무시한다고 비판 라즈베리 파이 대신 중고 안드로이드폰: 300~500위안 폰과 222달러 파이 부품 비교 Perplexity, 결정 모델 Decider v1.3과 Flash v1.3을 Apache 라이선스로 공개 스리랑카 코끼리 440마리 12년 추적, 개체 감소가 사회망 임계점 넘겨 무리를 쪼개놨다 닷컴 시절 58억 달러였던 3Com, 기업용 장비 사업을 스스로 버린 선택으로 2009년 사라지다 FAA 전국 지상정지 4시간 20분, 클로드 코드로 30분 만에 만든 실시간 항공 지도 Unsloth, Qwen3.8-27B GGUF에 Dynamic V3.1 적용해 같은 크기에서 정확도 5-10% 향상 몽키 아일랜드 13개 버전을 같은 12개 장면으로 나란히 비교하는 웹사이트 공개 Ratatui 메인테이너, 셀 가장자리에 선을 긋는 터미널 프로토콜을 Ghostty 패치로 공개 ggml v1.0.0 공개, 폐기 API 정리하고 CUDA·Metal·Vulkan 백엔드 성능 손봐 조너선 블로우 'AI가 코딩을 해결했다면 왜 내 소프트웨어는 그대로인가', 복잡도 폭증과 AI 코드 한계 논쟁 엔비디아가 투자한 AI 스타트업이 그 돈으로 자사 GPU 사들이며 공급 부족 만들었다는 의혹 암트랙 예매 시스템 먹통, FAA 전국 이륙 중단과 같은 날 겹쳐 '가중치 공간 오접힘' 논문, 부에노스아이레스 오답 유도는 성공했지만 자기 전파는 미입증 미네소타 기타리스트 Ben Ranson, 손바닥 두상골로 베이스음을 짚는 'palmfrets'로 특허 획득 노화를 몰고 가는 효소 그랜자임K 발견, 면역 노화는 그대로 구글 3D 타일과 three.js로 만든 SF 아이소메트릭 지도, 확대하면 '픽셀아트 아니다' 지적이 붙은 Show HN FAA 설비 장애로 미국 전 공항 ground stop, 미국행 출발 전면 중단 M-Vave FM-1 신디사이저를 브라우저에서 편집하는 FM-1 Workbench, DX7 패치와 펌웨어 플래시까지 오르카스섬 SDR이 항공 밴드 700채널을 실시간 전사, 밴쿠버 그라운드 스톱 교신까지 잡혀 오클랜드에서 텍사스로 가던 엔비디아 하드웨어 1,140만 달러어치 실종 FAA, 전국 출발 항공편 그라운드 스톱 발령 4시간 반 만에 해제... 라우터 과부하가 원인 구글, AI 개요 끄는 학교엔 검색도 차단: '반독점 승소 방어용' 분석까지 나와 LeWM 장기 과제 성공률, 25스텝 서브골 체이닝으로 22%에서 85%까지 하스켈 재단 TLC, 'Go의 반복 속도에 C#의 디버깅, Rust의 온보딩' 기술 비전 공개 1984년 Mac에 앱 전환기를 만든 앤디 허츠펠드, DOS 유틸 Memory Shift를 보고 착안해 로열티 $50k 받다 브라질 Caixa 보험사 침해, 활성 고객 760만 명 이름과 CPF 전부 유출 괴델 속기 노트 1,009쪽, 클로드가 이틀 만에 풀어 미공개 정리 수백 개 확인 Zig 0.17과 C로 같은 코드 비교: errdefer, 슬라이스 경계 검사, 강제 에러 처리에서 갈린다 1960년 Science 논문이 계산한 인구 폭발 종말일, 2026년 11월 13일 금요일 Coway 공기청정기 클라우드 걷어내려다 루트 CA가 평문 HTTP로 내려오는 걸 발견 LibreOffice, M365 장애에 '우리는 365일 내내 작동한다' 한 줄로 조준 Claude 장애에 Microsoft 365까지, 금요일 13일 겹친 AI 서비스 먹통 Brave Search API, x402 결제 도입: API 키 없이 검색 1건당 $0.005 마이크로소프트 글로벌 장애 이틀째, Outlook·Teams·Copilot 마비에 74개국 영향 Makepad, rustc 없이 Rust를 JIT 실행하는 Relax 공개...첫 프레임 11초, 최적화 코드는 1.12~1.24배 느림 22년 된 PostgreSQL 타입 혼동 프리미티브, CVE-2026-6460으로 RCE까지 연결 1997년 Marko Maček이 C++로 만든 X11 창 관리자 IceWM, 최신 4.1.0 공개 클로드 전 서비스 2시간 인증 장애, 마이크로소프트 장애와 겹친 13일의 금요일 145B 모델을 노트북에서 29GB로? Edge0 공개에 HN은 Qwen 파인튜닝 의혹부터 제기 젠슨 황 전 엔비디아 CEO, 두 번째 직원과의 관계도 드러나... 주가 5.5% 하락 Outlook/365 12시간 넘게 장애, 댓글에서는 'Office 364' 조롱과 SLA 크레딧 공유 애플, Swift API 하나로 온디바이스 모델부터 Claude·Gemini까지 붙이는 Foundation Models 프레임워크 공개 엔비디아 직원들, 젠슨 황 사임에 반발…사내 건의함 글에 1,600개 댓글 몰려 제인스트리트, 캠퍼스 온사이트 면접에 LLM 활용과 코드 검증 라운드 시범 도입 AMD 마이크 클라크가 말한 젠 6: 32코어 128MB L3, 곱셈기는 줄고 VNNI는 늘었다 중국 프런티어 모델 6종 가중치에서 美 수출통제 대상 Blackwell 흔적 검출 지구보다 46배 먼 2026 ED138 발견, 281년 주기 왜소행성 후보로 떠올라 구글, Antigravity에 Gemini 4 Hydrogen과 Carbon을 오가는 Orchestrator 공개 구독 요구하는 300달러 자수기, 직접 오픈소스 앱 만들어 붙인 Show HN Rust 1.100 출시: 10년 만에 never 타입 안정화, 커스텀 allocator API도 stable로 Microsoft 365 대규모 장애, 상태 페이지마저 502로 접속 불가 가용 램 1GB 샤오미 TV 박스와 1세대 iPad Air에서 16B MoE 모델 초당 5.1토큰 구동 Nintendo, GitHub에서 Switch 에뮬레이터와 모드칩 펌웨어까지 대량 DMCA 삭제 Outlook 장애 신고 2만5천 건 폭주, 마이크로소프트 상태 페이지까지 접속 불가 출시되지 않은 Quake 4 확장팩 The Awakening, openQ4 0.14.1로 플레이 가능 마이크로소프트 365 대규모 장애, 상태 페이지마저 502로 먹통 Rust 1.100.0 공개, never 타입과 커스텀 할당자 안정화 구글, Gemini 4 Hydrogen 공개: 100만 토큰 단일 가격에 Terminal-Bench 4.1 57%정지 문제와 괴델 정리로 설명하는, 올바른 소프트웨어를 쓰기가 어려운 이유 앤스로픽 IPO 로드쇼 개시: Q3 매출 $17.0B, 순손실 $23.3B 공개 젠슨 황, 엔비디아 CEO·이사직 즉시 사임…중국 스파이 관계와 GPU 밀수 의혹이 배경 생명은 RNA에서 시작됐나, 45염기 QT45가 남긴 빈틈 센서 11개 붙은 2㎡ 텃밭, 400만 건 데이터 읽고 매일 아침 에이전트가 관수를 결정 x86-64 PC에서 macOS를 띄우는 UEFI 프로그램 Stela, arm64e 코드를 x86-64로 JIT 번역 화웨이 CSL, vLLM·llama.cpp 겸용 로컬 추론 양자화기 MACaQ 공개 systemd 부팅 작업을 실시간 트리로 그리는 bootvine, Rust와 ratatui로 만든 TUI 부팅 화면 유타 대학, 공식 유타 티팟 페이지 공개…1975년 원본부터 2026년 개선판까지 6개 버전 렌더링·다운로드 제공 Apache HTTP Server mod_http2에 원격 코드 실행 취약점, 2.4.55부터 2.4.70까지 영향 AI가 magit 커밋을 탭 한 번으로 줄인 시대, Emacs 에세이가 던진 질문은 '소프트웨어 자유란 무엇인가'GitHub Actions 워크플로 잠금 파일 공개, SHA 핀 대신 태그로 의존성 고정 Jane Street가 공개한 'Socratic Tutor' 스킬, 질문만 던져 0~5단계 숙련도까지 끌어올리는 튜터 프롬프트 애플, MIPS를 ICNN으로 근사해 RAG 검색을 빠르게 (ICML 2026)Show HN: Papers Please를 YC 투자 심사로 바꾼 'Term Sheet, Please' 공개 Granola 대안 오픈소스 회의 노트 Yogurt, Electron으로 맥·윈도·리눅스 지원 Atuin 18.24, Claude Code 세션을 Codex로 다른 기기에서 이어받는 Atuin Threads 공개 페인트 얼룩 93%가 유효한 Perl 프로그램, SIGBOVIK 논문 뉴욕타임스, 젠슨 황과 직속 보고 임원의 관계 보도... 해커뉴스서 사퇴 압박론까지 구글, 단일 패스로 최대 1,000개 질문에 확률 답하는 Gemini Decisions API 공개 유나이티드항공, 제3자 AI 에이전트의 항공권 예약 차단 엔비디아 이사회, 중국 스파이 의심 불륜 조사 후 젠슨 황 CEO 해임 절차 착수 AI 에이전트 48개가 라이다로 찾은 마야 유적, 알고 보니 2025년 논문에 이미 매핑된 곳 효과 없던 사회 개입 사례들, 30억 달러 학교 보조금부터 백신 메시지 역효과까지 Astra의 8시간 가중치 탐색, 선형계획법 두 번이면 8배 적은 가중치로 같은 편집 WebGL2로 만든 모래 놀이 'safe-sand' 공개, 기울이면 쏟아지는 모래에 HN 반응 갈려 전압 결함 주입으로 채굴 카드 CMP 170HX를 A100-80G로 개조, 리테일 A100보다 1.18배 빠름 Apple, 1998년부터 이어진 지원 커뮤니티 포럼을 11월 20일 영구 폐쇄 공사 먼지가 연기 경보 울리자 냉방 꺼진 제인스트리트 뉴욕 데이터센터, 스프링클러 터지기 전에 전원 케이블부터 뽑음 AWS가 직접 만든 aws-emulator 공개, 3주에 커밋 3만 개 The Verge, TV 업체 11곳에 감시 관련 17문항 추궁... 하이센스는 메일 무시 Zen of Python과 Timsort 남긴 파이썬 핵심 개발자 팀 피터스 별세(1952-2026)48개 AI 에이전트가 72시간 만에 찾아낸 마야 유적, 알고 보니 이미 논문에 있던 곳

Unsloth, Qwen3.8-27B GGUF에 Dynamic V3.1 적용해 같은 크기에서 정확도 5-10% 향상

Unsloth가 Qwen3.8-27B GGUF를 Dynamic V3.1(preview) 알고리즘으로 다시 만들어 같은 크기에서 평균 정확도가 5-10% 올랐고, Terminal Bench 2.1과 DeepSWE v1.1을 포함한 벤치마크에서 이를 확인함
2bit부터 6bit까지 대부분 퀀트를 갱신했지만 3bit UD3는 UD3.1과 성능이 비슷해 그대로 두고, 더 나은 버전은 Qwen4 이후 모델에 적용할 계획임
에이전틱 벤치마크는 256K 컨텍스트로, LiveCodeBench v6와 GPQA Diamond 등 나머지는 128K로 측정했고 Terminal Bench와 DeepSWE는 3회, LiveCodeBench는 6회 이상, 빠른 벤치는 12회 반복해 에러바를 붙임
Exllama-v3는 토큰 임베딩을 BF16으로 유지해서 주 차트의 x축에서 임베딩 레이어를 뺐고, GSQ-RCO가 보고한 LiveCodeBench 결과는 반대라며 UD3가 가장 작은 크기를 빼면 ISTA보다 낫다고 반박함
27B dense 모델로 vision과 추론을 지원하고 17GB RAM/VRAM에서 로컬 실행되며, Unsloth 퀀트에는 MTP와 개발자 역할 지원, 중첩 객체 도구 호출 파싱 개선이 들어감

Hacker News 의견들

Q5 이상은 v3.0이랑 비교해서 어떨지 궁금하네

4, 5, 6bit도 다 갱신했어! 아직 에이전틱이나 코딩 벤치는 없는데 KLD는 확실히 좋아졌음

여기서 제일 작은 퀀트들은 Bonsai 2랑 비교하면 어떤 편이야?

Bonsai 2는 아예 안 돌아가고 Unsloth 최소 퀀트도 안 돌아가긴 하는데 그래도 얘가 낫더라. Bonsai 기술은 수백 B급 모델에 어울릴 듯

Bonsai 2는 양자화만 하는 게 아니라 fp16 블록 웨이트를 32개 파라미터당으로 손봐서 몇 GB 안에 더 많이 때려넣음. 대신 Unsloth는 기존 공개 모델에 바로 갖다 쓸 수 있는 게 장점이지

TensorFold에서 낸 3.8-27B 버전이랑은 어떻게 달라? TensorFold 엔진으로 Unsloth 퀀트 돌리는 게 의미 있을까

약한 GPU 쓰는 사람들한테 이런 업데이트는 진짜 큰 win임. 27B에 적당한 kv 캐시까지 느리게라도 밤새 돌아가는 2080 모먼트가 아직 안 왔다는 게 아쉽다

CPU 온리 llamacpp로 Qwen 3.8 27B Q4, Q5 돌려서 6000단어 마크다운 분석시켜봤는데 생성 시작까지 10분 걸리고 하루 자고 나면 결과는 나옴. 기본 thinking 강도는 줄여야 하지만 바이브 코딩만 아니면 지금도 쓸만해

여기 전기요금이 25c/kwh 정도인데 그럼 로컬로 Qwen 돌리는 게 6.1-luna 토큰값보다 비쌀 것 같음. 프라이버시 말고 로컬 돌릴 이유가 따로 있어?

KV 캐시를 4bit로 압축하는 쪽 연구 중인데 llama.cpp hadamard는 정확도가 별로야. 최근 N개 토큰만 8bit로 두는 슬라이딩 윈도우 1024 방식으로 하니 정확도가 2배 올라가더라

12GB VRAM에 16GB 램 윈도우에서 돌렸는데 단일 페이지 html은 뽑아줬음

M4 Mac mini 48GB에 LM Studio로 Qwen 3.8 Splash 깔았는데 thinking 켜고도 평균 45 tps 나옴. 충분히 쓸만해

ByteShape도 보면 좋음, 나랑은 무관한데 Qwen3.8-27B 블로그 글이 있음

24GB 이하만 본다면 Byteshape가 이기는 것 같음. 자기네 큰 버전이 Unsloth 3.0 Q4_K_M이랑 점수는 비슷한데 dflash2 커널 넣을 공간이 남아서 15-20 tok/s가 50+ tok/s로 뜀

16GB VRAM에서 이것저것 다 해보고 ByteShape에서야 Qwen3.8 27b가 빠르고 쓸만해졌음

파라미터마다 중요도가 다를 텐데 덜 중요한 건 더 세게 양자화해야 하는 거 아님? 저장용으로라도

질문 받음! DeepSeek-V4.1-Flash-1017-GGUF랑 Qwen3.8-Flash-Next-GGUF도 UD3.1로 갱신했고 채점 방식이나 인프라 이슈 같은 벤치마킹 방법도 문서에 공개해뒀어

최근 맥 32-64GB 램에서 v3.1 27B 퀀트 돌릴 때 mlx 같은 스택 뭐가 제일 나아? pp/tg 성능 기준으로 추천해줄 수 있어?

Unsloth Studio 멀티 GPU랑 멀티노드 학습은 어디까지 왔어? 문서랑 GitHub 이슈 보면 처음 기대만큼 개발이 안 되는 것 같은데

우분투에서 쓰려고 다운로드 페이지 봤더니 44.3MB라고 돼 있는데 받은 파일은 23M임. 페이지 실수야 아니면 내가 잘못 받은 거야?

ik_llama의 KT/KS 퀀트랑 비교하면 어떤 편이야?

Qwen3.8 진짜 장황하고 도구 호출 성향이 미쳐서 GLM-5.2보다 토큰을 2배 씀. Bottlecap AI ThinkingCap 체크포인트를 통합할 계획은 없어?

Bottlecap 작업 봤음, 흥미롭더라. Qwen3.8-Flash-Next에서는 추론을 최대 50%까지 줄였는데 순진하게 양자화하면 오히려 모델이 자기 교정하느라 장황해짐. 낮은 비트의 추가 토큰 사용을 +50%에서 +5%로 줄였어

KL-div 같은 쉬운 프록시 말고 실제 벤치 차트를 보여줘서 좋음

커뮤니티 요청으로 그렇게 했음. Terminal Bench랑 DeepSWE는 3회, LiveCodeBench는 6회 이상, 빠른 벤치는 12회씩 돌리고 에러바도 붙임

Q8 다이나믹 버전은 언제 나와? 내 벤치에서는 Qwen 3.8 27b Q8이 Q6를 그냥 압살함

artificialanalysis 같은 걸 로컬용으로 나온 여러 버전 비교하는 사이트는 없나?