35KB 프리프롬프트를 Opus에서 Ollama로 옮기다 만난 컨텍스트 창 벽

TLDR: 로컬 모델은 컨텍스트 창이 작아서 1M 토큰 창에서 잘 돌던 35kB 프롬프트가 65K짜리 로컬에서는 그냥 터진다는 얘기임. 부정적으로 말하고 싶진 않은데 내용이 더 알찼으면 했음.

피드백 고맙다. 세부 내용을 더 쓰고 싶었는데 주말 내내 이 문제 붙잡고 글 쓰느라 시간을 다 썼음. 다리오 행보 때문에 급하게라도 올려야겠다는 생각이 들었음. 다음엔 프롬프트를 자동으로 쪼개는 방법도 공유할 예정임.

새 DeepSeek 모델이 이 문제를 깔끔하게 풀어줌. DeepSeek Flash V4.1은 1M 컨텍스트 전체에 1GB도 안 쓰는데 V4.0은 10GB쯤이었음. 저사양 하드웨어에서도 근접 프런티어 모델을 쓸 수 있게 되는 거지.

이 주제에서 새 정보를 얻길 바랐는데 내가 이미 파본 로컬의 막다른 길이랑 똑같더라. 버블이 한 번 터져야 개인이 쓸 만한 로컬 하드웨어가 나올 것 같음.

35kb짜리 프롬프트면 그냥 프롬프트가 산만하고 초점이 없는 거임. 모델이 뭐든 실제로 정확히 어텐션하는 건 250k 근처에서 끝나니까 계획만 LLM한테 세우게 하고 단계별로 세션을 나눠 돌려야 함.

Claude Code 시스템 프롬프트도 50KB가 넘었는데 최근에 많이 줄인 걸로 기억함. 새 모델들은 손을 덜 잡아줘도 되니까.

나는 솔직히 글은 안 읽었고 시스템 프롬프트나 메모리도 안 씀. 그냥 문제를 써서 던지는데 오늘 자율 세션 하나가 600k까지 가서도 잘 끝났음. 다들 컨텍스트를 왜 그렇게 낮게 유지하는 거임?

프롬프트가 전부 사람이 쓴 산문이라고 가정하는데 프로그램 인터페이스나 커맨드, 테이블, 데이터 모델 메타데이터일 수도 있음. 그러면 몇 킬로바이트는 순식간에 찬다.

큰 입력에서 프롬프트 준수가 떨어진다는 건 나도 동의함. 이 문제 SOTA가 어디까지 왔는지 아는 사람 있음? 내년 이맘때면 오픈 웨이트에서 크게 좋아질까?

로컬 모델 최대 걸림돌은 하드웨어임. 1만 달러를 써도 성능이 애매한 수준밖에 안 나옴.

새 맥 스튜디오 울트라 서드파티 벤치가 나오면 다시 볼 만함. 2TB SSD에 256GB 램이면 1만 달러를 조금 넘는데 월 200달러짜리 구독 중이면 진지하게 고민할 듯.

요즘 상황 많이 좋아졌음. Qwen Flash Next는 4천 달러 PC에서 돌고 작은 기능은 혼자서도 구현해줌. Opus 4.5랑 비슷한 느낌인데 좀 느림.

이제 그런 얘기 할 때가 아님. Qwen 3.8 27B가 워낙 좋아서 5천 달러만 투자하면 속도랑 품질 다 챙김.

Ollama는 쓰지 마라. 그냥 llama.cpp 쓰면 됨.

자체 호스팅 Ollama가 제일 좋음.

VSCode Claude Code 익스텐션에 로컬 맥북 프로 128GB를 물려 쓰는데 컨텍스트 비대가 너무 심해서 prefill에 5분에서 10분씩 걸림. headroom 같은 도구로 관리해보는 중인데 잘 되진 않음.