Ripple-65B Preview 공개, 미국 오픈웨이트 중 에이전트 코딩 SOTA 주장

축하할 일이긴 한데 다른 오픈웨이트 모델을 아예 언급도 안 한 건 좀 별로다. 중국 모델들이 훨씬 잘 나오는데 없는 척하는 느낌임.

저 비교 차트는 진짜 이해가 안 감. 비교 대상을 골라낸 것도 그렇고, 크기 비교도 더 작고 성능 좋은 Beam 1.0 대신 Inkling을, Nemotron 3 Ultra 대신 더 작고 나은 Nemotron 3.5 Super를 넣은 것도 그렇고.

자기들이 이길 만한 것만 모아놨다는 건 알겠는데, 이 모델을 실제로 쓰려는 사람들은 중국 모델을 선택지로 안 본다. 미국 정부 기관이나 칩 설계 회사 입장에서는 이 차트가 맞는 차트임.

중국 모델들이 증류에 크게 의존하고 공개 벤치마크에서만 이상하게 잘 나온다는 점도 있고, Anthropic이 증류를 막은 뒤에 Moonshot 같은 곳이 얼마나 경쟁력 있을지는 알기 어려움.

Qwen 3.8 Flash Next가 84.3, Qwen 3.8-27B가 73.0인데 이 모델은 80.5임. 얼마나 벤치맥스 당했는지에 따라 다르겠지만 경쟁력은 있을 수도 있음.

SOTA라는 말이 너무 희석됐음. 미국에서 만든 오픈웨이트 중 특정 크기에서 최고라고 하면 그냥 그런 거지. 그리고 'frontier'라는 표현도 미국산 오픈웨이트라는 좁은 범주에서만 맞는 말임.

2위 모델과 0.42%p 차이면 리드가 의미 있다고 보기는 어려움. 참고로 가장 큰 미국 오픈웨이트 모델인 Inkling은 비교에 포함돼 있으니 크기 범주로 한정한 주장은 아님.

Recursive랑 Ricursive 둘 다 LLM 만드는 거임? 하나는 AI 칩 공동설계로 자기개선 AI를, 다른 하나는 소프트웨어만으로 자기개선 AI를 한다고 하더라. recursive.com이랑 헷갈리면 안 됨.

벤치마크 선택이 좀 이상함. Terminal Bench 2.1은 오래됐고, SWE-bench는 OpenAI가 부정했고, DeepSWE는 Gemini가 벤치핵한 걸로 유명함.

미국 관할 밖 회사 모델을 아예 못 쓰게 막힌 상황이 있어서, 전 세계 기준 경쟁력과 별개로 이런 구분이 무의미하진 않음. Mistral이 쓰는 포지셔닝과 같음.

27B 모델 나오면 좋겠는데 증류 버전 나올까.

65B dense라 소비자 하드웨어에서는 추론이 엄청 느릴 거고, 해커들 사이에서 인기를 얻기는 어려울 듯. 목적이 칩 설계 자동화니까 IP 유출을 막으려는 회사들이 에어갭 환경에서 서버급 하드웨어로 쓰는 시나리오겠지.

Qwen3.8 27b랑 같은 크기로 양자화했을 때 비교하면 재밌을 텐데, 당연히 그 비교는 안 하려고 할 듯.

고메모리 Mac Studio 쓰는 입장에서는 반가움. Mac 클러스터 스윗스팟이 200GB 정도인데 이건 훨씬 아래라서 실제로 돌아감.

dense 모델이라 Mac에서는 느릴 거임.

모델 자체는 그저 그런데 학습 비용이 흥미로움. 3년 뒤면 이런 모델이 5M 달러 아래로 내려갈 테고, 그러면 크라우드펀딩으로도 만들 수 있는 수준임.