Castform, 4B 오픈모델을 RL 후학습시켜 GPT-5.6 Sol 검색 성능을 100배 싼 비용으로 재현

이런 특화 모델 만드는 거 기회가 엄청 많다고 봄. Claude code도 explore 작업은 haiku한테 넘기는 것처럼 harness가 특정 작업은 작은 모델로 오프로드하는 방식이 대세가 될 듯

검색용 agentic harness는 처음 들어봤는데 흥미롭네. 컨텍스트 길이만 짧으면 O(100k)짜리 코딩 워크로드보다 훨씬 싸게 굴릴 수 있을 듯

이미 비슷한 거 여러 개 있음. Chroma Context1, SID-1, Hornet도 있고. 근데 순수 agent 검색보다는 ZeroEntropy 식으로 distillation + top-k에 약간의 agent 조작 얹는 게 더 낫더라 (내 경험상)

근데 모델이 계속 발전하니까 파인튜닝도 계속 유지보수해야 하는 거 아님?

Claude code explore 에이전트가 haiku 쓴다는 건 이제 옛날 얘기임. 2.1.198부터 opus로 캡 걸린 메인 세션 모델 그대로 물려받게 바뀜

특화 모델이 범용 강한 모델을 이기는 경우는 드묾. 반복적인 작업이면 차라리 전용 프로그램 짜는 게 낫고, 강한 모델은 정제된 데이터만 처리하게 하는 게 맞다고 봄

좀 딴 얘기긴 한데 z.ai에서 deepseek 4 flash 써봤는데 스펙 자세히 주면 원샷 성능이 미쳤음. gemma 4보다도 속도랑 효율이 인상적

deepseek flash 진짜 저평가된 모델임. 가성비가 말이 안 되고 싸구려 코딩 구독 서비스에서도 많이 씀

더 큰 건초더미에서 바늘 찾는 retrieval 성능이 어느 정도인지, 그리고 바늘로 다른 바늘을 여는 식의 연쇄 검색까지 되는지가 진짜 궁금한 질문임

이 분야 상태 보면 신뢰가 안 감. 특히 클로즈드 소스에 저런 허황된 주장이면 더더욱. GPT-5.6 sol보다 100배 싸다는 것도 별거 아님, deepseek 이미 거의 공짜라서 그거보다도 100배 쌀 수도 있음

프로젝트 상세 파일 써서 에이전트 관리하는 방식 쓰는데 태스크 상태까지 기록해두면 context에 안 의존하고 트랙 유지가 잘 됨. 최신 모델들 feature creep 문제 진짜 심각함

corpus 자체가 outdated거나 틀린 정보 많은 게 문제인데, reward function을 그 corpus에서 뽑으면 이 문제 어떻게 해결함?

(castform 창업자임) 최근 업데이트된 문서 우선시하기, 모순되는 문서 쌍을 학습 예시로 넣기, 사내 슬랙에서 검증된 Q&A 채굴하기 같은 아이디어들을 검증 중임

작은 모델이 큰 모델보다 문서에서 사실 찾는 데 더 잘하는 경우를 직접 테스트에서 봤음. 큰 모델은 오버씽킹하는 거 같고 작은 건 그냥 함. 5.6 Luna랑도 비교해줬으면 좋겠음

Opus나 Fable, Sol은 코드 작성 시키면 딴길로 새서 코드베이스 절반을 리팩터링하려 함. 추론이랑 서브에이전트 조율에만 쓰는 중

너무 멍청해서 검색 결과를 제대로 못 찾는 것도 문제고, 너무 똑똑해서 오버씽킹하다 멈추질 못하는 것도 문제고, 그 사이 스윗스팟 찾기가 어려움

browsecomp plus 같은 공통 retrieval 벤치마크 하나 없이 테스트한 게 좀 의심스러운데, 정확히 어떤 지표로 평가한 거임?

(castform 창업자임) 학습 런 트레이스 링크 공유함, gitlab 핸드북에서 질문-답변 쌍 생성해서 비교 모델 대비 점수 냈음