IBM CEO, 오픈 웨이트 모델이 성능 90%에 토큰 비용 10%라며 온프레미스 선택을 권고

오픈 웨이트가 좋다는 건 맞는데, 그걸 돌릴 하드웨어는 공교롭게도 IBM이 팔겠다는 거잖아.

IBM이 큰 LLM을 효율적으로 돌릴 만한 값싼 장비를 내놓으면 진짜 줄 서서 살 텐데.

농담 아니고 IBM이 NVL72나 DGX랑 붙어야 하는 거 아님? 엔비디아가 점심 다 먹는 걸 보고만 있는 게 이상함.

예전 세상에는 충분해도 앞으로 올 것에는 아닌 것 같음. Claude 8 같은 게 나오면 어떡할 건데.

자기 책 파는 CEO 말에 무게 실어주는 거 그만하자. IBM에 유리한 얘기니까 맞다 해도 내가 얻는 정보는 없음.

그래도 논의 시작점은 되지. 오픈 웨이트가 결국 IBM을 살리는 웃긴 그림도 나올 수 있고.

커널 엔지니어 어디 있냐고 묻는데 그냥 Claude나 ChatGPT한테 물어보면 되잖아. 요즘 agentic AI 시대인데.

그렇게 쓰면 안 됨. 프롬프트 잘못 넣으면 방어 계층 없이 선반에서 대충 가져다 붙이는 재앙 나기 딱 좋음.

난 8 GPU 리그랑 DGX 스파크 두 대로 몇 달째 유료 모델 안 씀. 토큰 조금 더 쓰고 결과가 살짝 덜 좋아도 내가 루프 안에 있어서 고치면 되고, 작업을 빅브라더한테 안 넘기는 게 훨씬 마음에 듦.

그 셋업에 얼마 썼고 TTFT랑 초당 출력 토큰은 얼마며 전기는 얼마나 먹는데?

직장에서 '살짝 덜 좋은' 모델을 쓰면서 그걸 고치는 데까지 힘 쏟고 싶진 않음. 문제에 집중하게 해주는 모델에 돈 내는 이유가 있음.