로컬 추론 '전력당 지능' 지표 제안: 로컬 LM이 실제 질의 88.7% 처리, 2023~2025년 IPW 5.3배 향상
- 실제 단일 턴 채팅·추론 질의 100만 건을 대상으로 측정했을 때 20B 이하 로컬 LM이 88.7%를 정확히 답했고, 정확도는 도메인마다 차이를 보임.
- 논문은 과제 정확도를 소비 전력으로 나눈 IPW(intelligence per watt)를 로컬 추론의 성능과 효율을 함께 재는 통합 지표로 제안함.
- 2023년부터 2025년까지 IPW는 5.3배 향상됐고, 로컬로 감당 가능한 질의 범위는 23.2%에서 71.3%로 늘어남. 알고리즘과 가속기 발전이 함께 작용한 결과임.
- 동일 모델을 돌릴 때 로컬 가속기의 IPW가 클라우드 가속기보다 최소 1.4배 낮음. 로컬 가속기에 아직 최적화 여지가 남아 있다는 뜻임.
- 평가 대상은 최신 로컬 LM 20종 이상, 로컬과 클라우드를 포함한 가속기 8종이며, 질의마다 정확도(프론티어 모델 대비 승률), 에너지, 지연, 전력을 측정함.
Hacker News opinions
IPW라는 지표 자체가 좀 이상함. 모델 성능이 좋다고 해서 전기를 더 먹는 것도 아니잖아.
그런 뜻이 아님. 아키텍처별로 그 값을 재면 더 효율적인 걸 찾을 수 있다는 얘기지. 특정 모델을 밀려는 게 아니라 더 나은 구조를 찾자는 거임.
MPH를 거리 나누기 시간이라고 제안해놓고 '시간 많이 쓴다고 멀리 가는 건 아니잖아'라고 하는 꼴임ㅋㅋ
생각이 좀 얕은 듯.
내가 잘못 읽은 건가? 로컬 GPU가 전기를 덜 먹는다고? 배칭 생각하면 거의 믿기 힘든 결론인데.
작은 모델은 프론티어 모델보다 훨씬 작으니까 배치 수가 적어도 총 전력은 적게 나옴. 요즘 로컬 모델도 에이전트 작업을 하면 배칭이 현실이 되고.
잘못 읽었음. 초록에 로컬 가속기가 동일 모델 클라우드보다 IPW가 최소 1.4배 낮다고 되어 있고 IPJ도 있음. 다만 논문이 유휴 상태 기준 전력을 빼놓은 것 같음. CPU, 메모리, 전원 손실, 팬, 냉각까지 넣으면 데이터센터가 유리할 텐데.
우린 컴플라이언스 때문에 전부 로컬로 돌림(ollama + neo4j). qwen2.5:3b가 M2 맥북에서 단순 그래프 스키마 nl-to-cypher를 3~5초에 처리하고, 전기값은 같은 질의를 frontier API로 보내는 것에 비하면 반올림 오차 수준임. 진짜 어려운 건 모델이 아니라 비전 모델 없이 PDF를 로컬에서 파싱하는 것.
엄청 중요한 연구임. 로컬 LLM이 이제 충분히 좋아졌고, Claude가 로그인 검증하고 큐에 넣는 시간보다 로컬이 첫 액션을 더 빨리 냄. 예측 가능하고 데이터 수집도 피할 수 있고, 겨울엔 300W 히터 역할도 함.
그건 모델이 이미 RAM이나 VRAM에 올라와 있을 때만 맞는 말임.
3588 NPU 측정해보면 CPU보다 전력은 확실히 이득인데 perplexity 손해가 있어서 실전에서 정량화하기 어려울 듯.
우리 서비스는 모든 모델의 실시간 에너지 통계를 portal.neuralwatt.com/energy-pricing에 공개함. DSV4.1 flash가 IPW 때문에 인기가 많음. 모델 라우팅을 세션 단위가 아니라 요청 단위로 하면 KV 캐시 유지가 깨져서 에너지와 비용이 다 나빠짐. 캐시를 아는 로컬·클라우드 하이브리드가 최선일 듯.