Kimi K3를 AMD MI355X로 서빙, 성능/달러는 B300 앞섰지만 HN은 비교 방식에 십자포화

이거 AI 슬롭인데 그래도 읽을만하게는 썼네ㅋㅋ 슬롭 티는 나는데 다른 슬롭 글보다는 낫다

head count 12에서 16으로 제로패딩해서 빠른 커널 돌리고 진짜 12개만 뽑아썼다는 부분 보니까 AI가 최적화 설정 짠 티가 남. 나도 예전에 프론티어 AI로 로컬 모델 세팅했다가 성능 최적화한답시고 건드려서 모델이 한 글자만 반복하는 걸로 망가진 적 있음. 저 정도로 대충 짜놓고 정합성 벤치마크는 돌려봤는지 의심스러움

일 잘했으면 그 내용 정리한 글도 슬롭인지 아닌지 검토는 해야지, 특히 프리필 섹션은 진짜 심함

em dash까지 그대로 남겨놓은거 보면 완전 슬롭임. AMD 소프트웨어 지원 부분 문장이 딱 그 꼴임

표 보면 모든 항목에서 B300이 MI355X 이겼음. decode tok/s, peak aggregate, GPU당 처리량 다 B300이 위인데 가격 하나 걸고 이긴 것처럼 씀. B200은 애초에 K3가 안 들어가는 걸 억지로 비교한거고 멀티노드 인터커넥트 디테일도 없음. 전형적인 날림 슬롭임

wafer는 이제 슬롭의 대명사임. 트위터에 알람 이모지 붙여서 과장 홍보하는거 하며. $2.50/$6.00/$4.25 가격 비교도 실제랑 다름

gpus.io 가보니까 지금 $2.95임. MSRP랑 실제 시장가를 비교하는 격임. B300은 수요가 많아서 비싼건데 이 회사는 소유 비용(TCO) 계산도 안 하고 코드도 공개 안 함

이 회사 예전에 WaferPass라는 토큰 구독 상품 냈다가 몇 주만에 지속 불가능하다고 접었으면서, 지금은 엄청난 추론 효율 개선 이뤘다고 자랑하고 있음

'오픈소스 모델'이라는 표현 좀 안 썼으면 좋겠음. 학습 데이터도 코드도 공개 안 하고 가중치만 공개한거잖아. 그냥 '오픈 웨이트'라고 불러야 맞음

가중치가 다른 모델 수정하거나 통합할 때 쓰는 형태인데, 오픈소스라고 해서 학습 코드나 데이터까지 다 공개해야 할 의무는 없음. 이미 다들 그렇게 부르는데 문제없다고 봄

나도 동의함, '오픈 웨이트'가 맞는 말임. 진짜 오픈소스면 전체 프로세스를 공개해서 원하면 튜닝할 수 있어야 함

MI355X 8장으로 시간당 $10도 안 받으면 캐펙스가 어떻게 나오는지 이해가 안 감. 전력이나 기타 비용 다 빼고 365일 24시간 $2.95로만 계산해도 연 $25842인데 1년은커녕 3년 안에도 회수가 안 됨

그건 말이 안 되는 가격임. Modal은 RTX 6000 Pro도 그거보다 비싸게 빌려줌. AMD가 뭔가 보조금 프로그램 돌리는거 아니면 저 가격은 이상함

어디서 8장에 $10 이하라는 걸 봤음? 내가 찾은건 1장에 $2.50임

실제로 그 가격에 빌려주는 데가 있는지 의문임. 내가 찾은 최저가는 시간당 $14고 대부분 그보다 훨씬 비쌈