애플, MIPS를 ICNN으로 근사해 RAG 검색을 빠르게 (ICML 2026)

검색 방식이 랭킹을 아무리 잘 짜도 결국 LLM을 휴리스틱 시스템 쪽으로 편향시키는 것 같음. 내 경험으론 편향 없이 LLM이 직접 탐색하게 두는 쪽이 최종 품질이 더 좋더라.

그 지적 자주 간과되는데, RAG 잘못 쓰면 LLM 지능을 옛날 구글 검색 결과 수준으로 깎는 셈임.

RAG 좀 하다 접은 입장에서 동료가 한 말이 계속 남음. '그냥 grep 쓰면 안 됨?'

grep이 빠른 건 맞는데 프로덕션 RAG에선 의미 검색이나 다국어, 오타를 못 버팀. 테라바이트 문서를 분산 서버에 두고 1000ms 안에 끝내는 것도 안 되고.

grep은 임베딩처럼 의미론적이진 않지만, LLM이 개념을 여러 개 리터럴 검색어로 늘려서 비슷한 효과를 낼 수 있음.

검색은 그 자체로 연구 주제임. 잘 구조화된 평문이면 기본 필터링만으로도 시맨틱이나 렉시컬 검색만큼 나옴. 결국 측정해봐야 아는 문제.

clanker가 grep 잘못 써서 내 변경사항 날린 횟수가 불법급임. git이랑 AI 훅 게이트, RAG 덕에 살았음.

애플은 시장이 무르익을 때까지 기다렸다가 더 나은 제품으로 들어와 장악하는 패턴이 있었음. iPod이랑 iPhone이 그랬고, 온디바이스 추론으로 개인 비서 시장에서 또 노릴 수도 있다고 봄.

근데 프론티어 모델 없이 그게 될까 싶음. 새 foundation models cli 받아서 맥에서 돌려봤는데 별로였고, 모델이 뭐냐고 물으니 gpt 4o mini라고 답하더라. 100% 온디바이스 비서가 되면 지금 협력 중인 프론티어 업체들한테 진짜 위협일 듯.

개인 비서 시장은 애플이 Siri로 이미 일찍 들어가지 않았나. 아이폰 오래 썼지만 새 기기 설정할 때마다 Siri 관련은 다 꺼놓음.

그건 애플이 아니라 스티브 잡스가 한 거 아님? 잡스 없이 애플이 그걸 해낸 적이 없어 보임.

어제 Spotify 발표 봤는데 Parallel Fusion Router라는 자체 고속 검색을 내놨더라. teacher LLM이 LLM-as-a-judge 보상으로 작은 router LLM을 학습시키는 방식임. 이런 learned 방식은 수억 개 이상 아이템에서 top-5 정확도가 중요할 때나 의미 있고, 몇백만 개 수준이면 BM25 인덱스 만들어서 LLM에 검색 도구로 주고 넓게 훑는 게 항상 이겼음.

그 BM25 얘기 계속 해왔음. 프론티어 LLM이 검색어를 만드는 상황이면 렉시컬이나 시맨틱이나 거의 같음.

나도 지난 RAG 프로젝트에서 딱 그렇게 했는데 작은 데이터셋에선 잘 돌아갔음.

코드베이스에 RAG 한 방에 붙이는 걸 많이 해봤는데 아직 확신 없음. 임베딩이나 BERT 계열이 grep을 이길 만큼 똑똑하진 않고, 테스트 파일이나 문서, 사이드카처럼 의미가 겹치는 것들 정리 안 하면 테스트만 매칭됨. 큰 임베딩 모델 쓰면 클라우드로 가야 하는데 그럴 거면 서브에이전트한테 미리 훑게 하는 게 나음.