가용 램 1GB 샤오미 TV 박스와 1세대 iPad Air에서 16B MoE 모델 초당 5.1토큰 구동

회사에서 시작한 오픈소스 프로젝트인데 이제 1세대 iPad Air랑 샤오미 TV 박스에서 16B 모델까지 돌아감. 둘 다 쓸 수 있는 램이 1GB도 안 되는데 속도는 하드웨어 치고 괜찮게 나옴. 더 빡센 기기 추천 좀.

화면 달린 전자담배 같은 데서 돌려보는 건 어때.

Playdate는 어떰?

라즈베리파이 1세대나 2세대? ESP32는 램이 너무 작더라.

Speak and Spell에 음성 프로세서로 답하게 하는 건 가능할 듯.

AI로 옛날 하드웨어 되살리는 흐름 진짜 좋음. 예전 플래그십 폰이나 태블릿에서 돌려보고 싶다.

나도 굴러다니는 폰이랑 태블릿 몇 개 있는데 한번 해봐야겠음.

요즘 안 쓰는 씬클라이언트를 홈랩 리눅스 머신으로 다시 쓰고 있는데 딱 같은 생각임. 옛 장비도 소프트웨어만 맞으면 충분히 쓸 만함.

그거 갖고 구체적으로 뭐 하고 있음?

나는 Dell Wyse 7020 iGPU에서 Qwen3.5 0.8B를 초당 5토큰으로 돌림. 주로 불평할 상대로 쓰고 있고 아직 에이전트 작업은 못 찾았음.

비슷하게 Wii에서 GPU 가속으로 tinystories LLM 돌린 사람도 있더라.

ESP P4나 ESP S31은 안 되려나?

기술적으로 멋진 건 알겠는데 이런 작은 모델이 실용적으로 쓸모가 있나? 실제 작업이 가능한가 궁금함.

나도 궁금함. 툴 쓰기엔 너무 멍청하고 팬케이크 굽는 법 물어보면 쓰레기만 나옴.

지금 당장 쓸모없어도 상관없다고 봄. 빅테크는 이런 연구 안 하니까 커뮤니티가 해야 함. 걔들은 모델을 자원 먹는 쪽으로 만드는 게 이득임.

파인튜닝한 작은 모델은 좁은 작업은 잘함. 1-2B로도 고객 데이터 학습시키면 쓸 만했음. 목표는 64GB 머신이 아니라 가장 작은 기기에서 16B+를 굴리는 한계를 찾는 것.

음성 인식이나 생성, 실시간 로그 파싱 정도면 작은 기기에서도 충분히 유용함.

HIPAA 규제 받는 병원이나 구형 온프레미스 환경에서는 이런 게 유일한 희망임. 지저분한 자유 텍스트 필드 정리하고 분류하는 데 작은 모델이 잘함.

요즘은 Claude가 한 방 프롬프트로 추론 엔진 짜줌. 하드웨어만 구해서 ssh 붙여주면 알아서 컴파일러 구하고 qemu로 테스트까지 함.

한 방으로 되는 게 아니라 로그 보면 107+50번 실험했음. 검색 공간을 어떻게 줄일지가 핵심이고 Claude는 브루트포싱 도구임.

결국 클로드가 한 거 아님?

맞음 클로드가 하고 나는 방향만 잡음. 숨긴 적 없고 재미로 하는 실험이니까 괜찮다고 봄.

TV에 램이 2GB나 필요함? 크롬이나 일렉트론 돌리려고? ㅋㅋ