메타, 816B 오픈웨이트 모델 Muse Spark Open 공개, 맥 스튜디오 두 대로 로컬 실행 시연

오픈웨이트 모델을 메이저 연구소가 계속 풀어주는 건 좋은데, OpenAI랑 Anthropic도 이렇게 했으면 좋겠음.

여러 러너에서 돌아가게 신경 쓴 건 인정임. 근데 NPU 지원은 아직 빈약함. AMD XDNA2랑 Qualcomm Hexagon은 ONNX가 제일 잘 먹는다고 알고 있음.

작은 양자화 버전을 M 시리즈 맥에서 돌려본 사람 있음? tk/s 수치가 궁금함.

메타가 시장을 먹을 거라는 주장은 동의 못함. 무료 모델이 이미 프런티어 근처까지 왔는데 돈이 안 움직이는 게 증거임.

OpenAI랑 Anthropic 합쳐서 약 1000억 달러 매출이 나오는데 렌트 시장이 안 생겼다는 건 말이 안 됨.

Muse가 very sticky라는 근거가 뭔지 모르겠음. 다운로드가 몇백만이면 DAU 기준으로 보면 아주 작은 숫자임.

구글, 애플, 마이크로소프트는 사용자 경험의 기반을 쥐고 있어서 메타는 늘 불안할 수밖에 없음. 실패한 폰이랑 애매한 헤드셋 말고 뭐가 있었음?

모델이 더 똑똑해지지 않아도 하네스 쪽에서 요청을 나눠 처리하고 상태를 관리하면 소비자 쪽은 충분함. 인프라 비용도 줄어듦.

Mac Studio 두 대는 512GB짜리라 집에서 돌리려면 5만 달러쯤 드는 셈이라 현실적으로 어려움.

라이선스가 대형 추론 사업자한테 메타랑 따로 계약하라고 요구하는 게 불편함. 가격 경쟁은 줄어들어도 공급자 품질 관리에는 도움이 될 수 있음.

상업 사용을 막는 라이선스면 오픈 웨이트라고 부르기 애매함. 오픈소스 정의에는 안 맞음.

원래 Llama 때도 계정 만들고 EULA에 동의해야 받을 수 있었음. 이번이 특별한 건 없음.

백도어 관련 논문을 여러 편 읽고 있는데, 서구 기업이 만든 모델이 그나마 안심됨. 미스트랄은 컨설팅 쪽으로 빠진 게 아쉬움.

미국 정부가 Dual_EC_DRBG 같은 백도어를 심은 전례가 있어서 서구 기업이라고 안전하다는 건 과하다고 봄.