확산 방식 LLM Mercury 3 출시, 파라미터 40배 키우고 1,000 토큰/초 이상 속도 주장

이거 공동창업자가 직접 댓글 단 건데, 확산 모델은 토큰을 한 개씩 안 뽑고 병렬로 뽑아서 추론 모델이 생각을 길게 할수록 자기회귀 모델 대비 속도 차이가 더 벌어진다는 얘기임.

벤치마크를 왜 medium 설정으로 돌렸는지 모르겠음. 싼 모델은 보통 xhigh나 max로 쓰는 사람이 많은데, 낮음에서 최대까지 성능 곡선도 없고 작업 완료 시간도 보고 싶음.

DeepSWE에서 46%로 Haiku 52%보다 낮은 게 궁금함. 후학습 때 코딩 RL을 덜 돌린 건지 그게 궁금한데, 그래도 1000 tok/s면 보안 리뷰나 반복 리팩터링은 충분히 돌릴 만함.

가중치는 풀어주는 거임? 안 풀면 그냥 API 장사인 셈인데 그것도 아쉬움.

멀티모달은 언제쯤 되는지 궁금함. 파라미터 크기도 비밀이라는데 그것도 답답함.

구글 논문 보니까 H100에서 배치 크기 커지면 속도 이점이 줄던데, Mercury 3도 배치 크기별 tok/s 수치 나온 거 있음?

Diffusion Gemma는 자기회귀 짝꿍보다 성능이 많이 떨어지고 어려운 벤치마크일수록 격차가 커져서, 서빙 규모에서는 속도 이점이 상쇄된다더라.

llama.cpp가 아직 안 받쳐주는 게 문제임. 확산 모델은 특정 문구를 금지할 수 있어서 가중치 안 건드리고 출력을 걸러낼 수 있다는 장점이 있는데 다들 잘 모름.

오픈 웨이트 확산 모델 기다리고 있었는데 아직이네 ㅠ

OpenRouter에서 보니까 DeepSeek 플래시 쪽이 지연 시간이나 지능에서 아직 Mercury 3를 이기더라. TTFT가 느린 편임.