Swiftlet, 익스퍼트 스트리밍으로 80B Qwen 모델을 맥에서 4.3GB 램으로, 35B는 아이폰에서 구동

이거 신기하긴 한데 디코딩 속도만 보여주고 있고, 실제론 prefill이 병목이라 10k 토큰 처리하는데 M5에서 30분 걸린다던데 이건 별로 안 좋아 보임

코딩이나 실시간 에이전트용으론 별로겠지만 밤새 백그라운드로 돌리는 작업엔 꽤 쓸만할 듯

이런 식으로 발전하는 거임. 누군가 3t/s 찍으면 다음 사람이 6t/s 찍고 결국 100t/s까지 가는 거지

이런 디스크 스와핑 방식들은 다 똑같은 단점 있음. 드라이브 일찍 죽이고 느려터짐. 시간당 토큰 몇 개 나오는 거임?

글에 M5에서 80B 모델 4.5~5t/s 나온다고 분명히 써있는데 그건 안 본 듯

드라이브 죽이는 건 쓰기 작업이지 읽기 아님?

난 플래시 수명 걱정 전혀 안 함. 10년 넘은 드라이브도 아직 잘 돌아가고 있고, 30년 동안 컴퓨터 하면서 HDD는 열 개 넘게 죽었는데 SSD는 하나도 안 죽었음

다들 비현실적이라고 까는데 이게 원래 발전하는 방식임. 계속 이렇게 파다 보면 드라이브 마모 줄이는 법도 나오고 속도도 빨라지고 전용 하드웨어 버스도 나올 거임. 언젠가 5만 달러짜리 Nvidia 랙 대신 200달러 SSD로 1T 파라미터 모델 돌리는 날이 오길 바람

1T를 5만 달러로는 좀 희망적인데, 나도 희망은 가짐

LLM은 병렬화가 잘 되니까 같은 서버에서 여러 요청 동시에 처리하는 게 훨씬 효율적임. 그래서 '충분히 좋은' 수준에 도달하기 전까지는 LLM 사용의 99% 이상이 결국 중앙 서버로 갈 거라고 봄

이거 Apple이 AFM3에서 하려는 거랑 비슷함. macOS 27에 들어갈 20B 밀집 모델이 프롬프트에 따라 14B만 선택해서 추론한다던데, 100B나 400B짜리로 515B 선택하는 것도 나오면 좋겠음

이런 게 퍼지면 스크립트 키디들도 자기 전용 모델 갖게 되고 스캐머들도 더 이상 AI 서비스 필요 없어짐. 그 미래는 별로 재밌지 않을 듯

체스 컴퓨팅에서도 비슷했음. 문제가 아마추어들 손에 닿을 정도로 접근성이 좋아지니까 소프트웨어 개선이 폭발적으로 일어났고, AI도 비슷한 흐름 갈 거라 봄

이건 나무 타는 사람이 달에 가려는 거랑 비슷한 발전임. 이 프로젝트는 그냥 오늘의 MoE 최적화 버전일 뿐이고, 5만 달러 랙 대신 200달러 SSD로 1T 모델 돌리는 일은 절대 안 일어남. 이런 프로젝트들은 그게 가능할 거라는 환상만 줄 뿐임

Apple은 미래에 LLM이 워낙 효율적이어져서 아이폰이나 맥으로도 일상적으로 쓸 모델은 다 돌릴 수 있을 거라 보고 베팅하는 것 같음

32GB 맥북 있는데 남는 RAM을 활용해서 더 빠르게 돌릴 수 있게 RAM 사용량 조절 가능하게 만들 수 있나 궁금함

어떤 expert를 미리 'hot'하게 램에 올려둘지 사전에 알 방법이 없어서 그렇게 튜닝해도 이득이 별로 없을 것 같음

README 맨 끝에 Claude Code와 협업해서 만들었다는 문구가 있는데, 이게 진짜 Anthropic이나 Claude Code 팀과 뭔가 한 건지 아니면 그냥 vibe-coding 했다는 표시인지 궁금함

Claude Code가 커밋이나 PR을 독립적으로 만들고 머지하면 자기 자신을 저자로 표시하게 되어 있음. README에 뜨는 것도 그 로직 때문일 거임

이 프로젝트의 시작점이 된 TurboFieldfare 언급해줘서 고마움. 온디바이스 AI 탐구에 영감을 준 것 같아서 기쁨

'이 정도 규모 모델이 폰에서 네이티브로 돈 건 처음'이라는 문구 이런 스트리밍 웨이트 프로젝트마다 계속 보는 것 같음. 이미 400B 모델을 아이폰에서 돌렸다는 트윗도 있음