인터넷 없이 도는 오픈소스 AI "Survival LLM", 93만 위키피디아 문서와 출처 인용까지 로컬에서 처리

아이디어는 좋은데 램 적은 기기에 깔리는 IBM Granite 4.2 8B가 쓸만할지 궁금하네. 테스트에서 22문항 중 14개 맞힌 게 그 모델임.

LLM이 아직 환각하는 걸 보면 그냥 자료를 로컬 아카이브로 모아서 검색하게 하면 되지 않나. Kiwix보다 무겁고 신뢰도는 떨어지는 것 같은데.

LLM에 채팅 붙인 건 정보 인터페이스로 꽤 좋아. 필요한 자료 DB에 연결해두면 모델이 다 외울 필요 없이 길 안내를 해주는 셈이지.

이미 LLM 없이도 검색되는 로컬 아카이브이고 RAG로 95% 정확도라고 하더라. 어디서 찾아야 할지 모를 때 쓸만한 정도고, 진짜 SHTF 상황이면 Kiwix든 이거든 별로 안 도움 됨.

요즘 소형 모델은 웬만한 데서 다 돌아. Kiwix도 좋지만 내가 읽는 것보다 빨리 파고들려면 모델이 필요하고, 출처 인용을 강제해두면 환각인지 아닌지 확인할 수 있지.

bonsai2 27b는 15년 된 게이밍 GPU에서도 돌아감. 구독료 걷으려는 대형 랩 마케팅만 안 믿으면 선택지는 지금도 널려 있음.

왜 둘 중 하나만 고르지. 문명이 무너져도 컴퓨터를 굴릴 수 있으면 다음 세대 교육에 쓸 수 있잖아.

환각은 스케일 키우면서 거의 해결된 문제 같아. Opus 5.5는 논문 하나 기억해낼 때도 못 찾겠다고 헤지하면서 결국 안 틀렸더라. 물론 이 로컬 모델은 막 환각하겠지만.

이런 로컬 소형 태스크 특화 모델이 더 나왔으면 좋겠음. 한 가지 일만 잘하는 애들 말이야.

이런 용도엔 llamafile 쓰고 있음. 참고해봐.

qwen이나 gemma 계열 소형 모델도 지원해주면 좋겠는데.

왜 LLM이고 왜 데이터가 이렇게 많아야 하는지 모르겠음. 같은 자료 위에 전통 검색창 얹으면 훨씬 작고 최소한 출처만큼은 신뢰할 수 있을 텐데.

LLM이 세계 지식을 담고 있다고 착각하는 사람이 많아. 이 프로젝트는 사람이 검수한 출처에 접지를 시도해서 훨씬 낫지만 0은 아니야. 검색엔진은 여러 출처를 종합해 답을 만들어주질 못하고.

웹 검색 없이 아주 작은 모델은 위험할 정도로 멍청해져. 쓸만해지는 건 30B쯤, 현실적으로는 128B MoE부터고, 내가 만든다면 Gemma 4 12B에 걸었겠음.

5분 클릭에 작은 파워스테이션이면 생존이 걸린 상황에 싼 값이지.

2018년에 아프리카와 중동 학교용 에어갭 프로젝트를 했는데, 라즈베리파이에 위키피디아 일부랑 역색인, TextRank 요약을 넣어 담배갑만 한 케이스로 보냈음. 지금 한다면 소형 LLM에 ASR, TTS까지 붙였겠지. 전기는 여전히 필요하지만.