Qwen2.5-Coder 0.5B를 미세조정해 셸 없이 터미널 화면을 예측하게 만든 WorldTUI
- Qwen2.5-Coder-0.5B 기반 360M 모델을 Docker에서 기록한 터미널 세션으로 미세조정해, 실제 셸이나 파일시스템 없이 키 입력마다 화면 변화를 예측함
- 화면을 문자 격자로 보고 바뀐 행만 다시 쓰는 방식이라, 스크롤은 COPY 연산으로 처리해 행당 약 3토큰이 듦 (기존 약 96토큰)
- 어휘는 바이트 토큰 256개, 행 토큰 64개 등 총 333개이고 디코딩을 문법으로 제한해 매번 유효한 화면 갱신만 나옴
- vim, tmux, snake 실행과 몇 개 명령 뒤의 입력 기억이 가능하며, 데모는 WebGPU가 되는 데스크톱 Chrome이나 Edge에서 약 208MB 용량으로 돌아감
- 공개 데이터셋에서 키 입력과 화면이 맞는 자료를 찾지 못해 직접 생성했고, 오타율은 1.2%로 설정함
Hacker News 의견들
비슷한 콘셉트로 Anthropic 실험이랑 VibeOS 같은 환각 OS 프로젝트도 있음. 이런 쪽 실험이 더 많이 나와야 됨.
터미널 앱 놔두고 왜 이걸 만드냐고? 그냥 재밌으니까 하는 거지. 호기심이 제일 좋은 동기임.
sleep 3은 어떻게 된 거임? 다음 프레임 X개가 아무 일도 안 하는 걸로 예측하는 거 아님?
예전에 GPT 3로 이거 비슷하게 해봤는데 tmux 흉내까지 되더라. 창 너비도 인식하는지 궁금함.
Firefox에서 키 누를 때마다 슬로우 모션처럼 버벅임. 매번 화면 전체 diff를 생성해서 그런 것 같음.
직접 써봤는데 test1 폴더가 이미 있다고 하고 mkdier 오타도 그냥 받아들이더라. 상태가 없으니 당연하긴 한데 데모 gif만큼 마법 같지는 않음.
터미널 명령에 랜덤성이 끼면 곤란함. 모델이 결정론적이지 않으면 실사용은 어렵다고 봄.
작은 모델에 busybox 툴콜 붙이고 거기서 벗어나는 것만 학습시키면 재밌겠다 싶음.
UI가 이런 식으로 바뀐다는 말엔 동의 안 함. Excel이랑 Word UI가 몇 년째 거의 그대로인 데는 이유가 있음.