AirLLM, 4GB GPU로 70B 모델 구동 가능하지만 토큰당 292초로 실용성 논란

128GB 맥북에서 풀사이즈 모델 돌리고 싶은데, 레이어를 온디맨드로 로드하는 거면 디스크엔 여전히 풀 모델을 받아야 하는 거 아님? README에서 HuggingFace 연결한다는 게 다운로드 안 해도 된다는 뜻인지 헷갈림

허깅페이스 모델 아이디만 넘기면 자동으로 다운로드해줌. 다운로드 우회는 불가능. 핵심 레이어만 메모리에 올리고 나머진 디스크에서 스트리밍하는 방식 같은데, mmap이나 expert streaming보다 나은 접근일 수도 있음

Kimi K3를 RTX 6000 Ada(48GB)에서 돌리면 토큰당 292초 걸린다고 함

README 그래프가 tps인 줄 알았는데 spt였구나 ㅋㅋ 완전 오해했음

이런 'VRAM보다 큰 모델 돌리기' 프로젝트들이 필요한 시도이긴 한데, 실제로 16~32GB 머신에서 코딩용 큰 Qwen 돌리는 사람이 있긴 함?

이건 J/token으로 계산하면 어떨지도 궁금함

계산해보니 초당 0.003토큰임. 보통 1시간 걸리는 작업(초당 30토큰 기준 10.8만 토큰)을 이 속도로 하면 416일 걸리고, 100W 기준 전기료만 $124.61 나옴. 그 돈이면 Moonshot 공식 API에서 output 830만 토큰을 살 수 있으니 80배 더 비싸고 416일 더 기다려야 함

292초면 그냥 CPU로 돌리는 거랑 비교하면 어떨지도 알고 싶음

요즘 '1GB로 1TB 모델 돌리기' 프로젝트들 많이 보이는데, 대부분 바이브코딩이고 유지보수 안 될 것 같음. 진짜 제대로 된 게 하나 나왔으면 좋겠음

요즘은 메인테이너 필요없음. codex나 claude code한테 시키면 됨. 나도 그렇게 Trellis2를 윈도우+저용량 VRAM에서 돌렸음

파이썬 모듈 짜맞춘 걸 API라고 부르기도 애매하고 문서도 전혀 없음. 모델 갖고 놀 때는 그냥 llama.cpp 씀

오래된 맥이나 PC 여러 대로 스팸 이메일 하나 뽑는 용도면 딱인 듯, 일주일 걸려도 상관없다면 말이지

그래도 전기값은 안 낼 순 있잖아

이런 효율화가 진짜 필요한 방향임. LLM 트레이닝에도 이런 효율화가 적용됐으면 좋겠음

4GB GPU로 70B 돌리는 거 자체는 엄청난 엔지니어링 성과긴 함