바이브코딩으로 만든 추론 칩 FPGA 프로젝트, 댓글에서 속도와 비용 논쟁
원문을 읽지 못해 Hacker News 토론으로 요약했습니다
- 댓글에 따르면 작성자는 Claude API 사용료로 약 1만 달러를 썼고, 이 비용은 스타트업 크레딧으로 충당됨
- 추적 로그에 Maple 모델이 언급되며, 댓글 작성자는 이를 20B 규모 모델로 봄
- 다른 댓글은 활성 파라미터가 1B이고 5GB 양자화 모델이었을 것이며, 초당 200 토큰 이상이라고 작성자가 밝혔다고 전함
Hacker News 의견들
20b 모델이라는 추적 로그가 있던데, 그 속도면 꽤 쓸만한 거임.
1B 활성 파라미터에 5GB 양자화 모델이었을 거임. 200 토큰 넘었다고 했는데 그 정도 작은 활성 세트면 돌파구라고 하긴 어려움.
API 비용이 1만 달러라니 헐. 근데 스타트업 크레딧으로 한 거라 본인 돈은 안 들었다더라.
나도 Opus 4.5로 smollm.c 비슷한 거 만들어봤음. 트랜스포머 구현이 AI 코딩의 hello world가 된 듯.
FPGA는 재구성 가능한 만큼 비용이랑 속도, 전력에서 손해임. 검증용이나 소량 생산에 맞는 거라고 봄.
나는 3M 파라미터 모델을 FPGA에 올려서 59,000 tok/s 찍어봤음. DDR4가 대역폭 병목이라 HBM이 있어야 경제성이 나옴.
가중치를 FPGA에 구워 넣으면 5W로 큰 엔비디아 카드랑 경쟁할 속도는 나옴. 근데 가격도 비슷하게 나오는 게 문제임.
"더 빠르게 해줘" 프롬프트 반복하는 거랑 RSI 주장들이 다를 게 없어 보임.
AI한테 큰 과제 줄 때는 자동화된 검증 지표가 모델 지능보다 더 중요해 보임.