Apple 연구팀, 유휴 Mac GPU를 묶어 쓰는 분산 추론 클라우드 Minions 발표
- Minions는 유휴 Apple Silicon Mac의 GPU를 묶어 대규모 ML 추론 작업을 돌리는 분산 가상 GPU 클라우드임
- 중앙 GPU 인프라의 높은 비용, 제한된 탄력성, 긴 대기 시간을 문제로 짚고 GPU를 새로 사지 않고 기존 장비를 쓰는 것을 목표로 함
- 유연한 GPU 추론 작업 실행, 장애 허용(fault tolerance), 자원 활용 효율 향상을 기능으로 내세움
- 저자들은 실제 운영 경험을 근거로 유휴 macOS 기기가 실용적인 분산 GPU 추론 플랫폼으로 바뀔 수 있다고 밝힘
Hacker News opinions
엔터프라이즈 랙 장비로 안 파냐는 말은 좀 빗나간 듯. 이건 사내 워크스테이션을 밤에 놀리는 용도라서 저우선순위 AI 작업 돌리려고 서버를 더 살 필요가 없다는 거임.
SETI 같은 거냐고 묻던 사람 있던데 댓글 보니까 Apple 내부에서 이미 쓰는 시스템이라더라. 여러 GPU에 모델 하나를 쪼개는 게 아니라 작업 단위로 잘라서 독립적으로 돌리는 방식임.
솔직히 기술적으로는 별로 새로운 게 없어 보임. 사내 시스템을 논문 형식으로 정리한 느낌이고 깊이는 얕음.
Ollama 쓴 거 보고 실망함. Apple이 예전에 낸 작은 모델 논문들은 꽤 괜찮았는데 이건 그 수준이 안 됨.
에너지 비용 얘기가 빠진 게 좀 아쉬움. 집이나 사무실 데스크톱에서 돌리면 데이터센터보다 전기를 더 먹을 수 있음.
Mercedes 차량 유휴 GPU로 비슷한 데모를 하고 특허까지 낸 적 있음. 개념 자체는 오래된 거임.
범용 분산 연산 얘기는 macOS 10.6부터 Dispatch가 들어 있어서 이미 기반이 있음. 개발자 문서 보면 바로 나옴.
칩을 팔든 클라우드를 하든 Apple이 공급망을 키우면 좋았을 텐데, 지금은 생산 대기 시간이 6에서 16주라서 당장은 어려울 듯함.