20만원 미만 텐서 GPU로 15종 벤치마크, 케플러부터 볼타까지 LLM·비전워크로드 성능 비교
- esologic이 K80(24GB, $60), P100(16GB, $75), V100(16GB, $200) 등 폐기 서버용 GPU 15종을 llama.cpp, ResNet50, Blender, F@H, SHA-256 등 다양한 워크로드로 벤치마크함
- docker로 소스 빌드하면 2014년 출시된 Kepler 아키텍처에서도 최신 벤치마크 소프트웨어가 전부 구동됨을 확인함
- $40짜리 X99 Xeon E5-2690(56스레드, 3.5GHz)과 $200짜리 Supermicro X10DRG-Q(2소켓, PCIe 7슬롯)로 저가형 4U GPU 노드 구성을 목표로 함
- GPU 3장과 10GbE NIC를 표준 ATX 케이스에 밀도 있게 넣을 수 있는 냉각 솔루션을 자체 개발 중이며 베타 유닛을 이메일 구독자에게 제공함
- 저자는 상시 가동 환경에서는 전력 효율이 중요하지만 홈랩처럼 간헐적 사용에는 노후 GPU도 충분히 실용적이라고 주장함
Hacker News opinions
카드마다 세대별 전력 소비 변화도 궁금한데, TDP 최대치로 밀어붙이는 경향이 있어서 실제로는 정격 TDP 근처에서 계속 돌게 됨. 일부 카드는 전력 제한 걸어도 성능 손해가 크지 않더라
BC-250(PS5 칩) 얘기가 없어서 아쉬움. 이베이에서 200달러면 사는데 2만대나 배치했었던 입장에서 이게 e-waste 아니라 인퍼런스용으로 쓰이는 거 보니 감동임
Qwen3.6 27B급 모델도 테스트했는지 궁금함. P4000+P5000 조합으로 Q4 MTP 돌리면 14~16 t/s 나오더라
이 벤치마킹은 4U 안에 얼마나 저렴하게 채울 수 있는지가 목표인데, 16개 GPU 스택하려면 220V 분전반 여러 개 필요하고 PCIe 레인도 금방 부족해짐
Tesla P4 언급이 없어서 아쉬운데, 75W짜리 8GB 카드 6개랑 E5-2696v3로 mATX 케이스에 다 넣었음. 2030B Q4KM 모델에서 712 t/s 나오는데 프롬프트 로딩이 신형 텐서코어 GPU보다 훨씬 느림
이 사이트 HN 메인 가면 못 버티던데, 그래프 이미지가 7MB나 됨. SVG나 HTML로 하면 될 걸
나는 Radeon Pro V620 32GB 두 장 씀. ROCm 최신판 지원되고 옛날 Tesla보다 빠름. Gemma 4 31b 4비트로 30+ t/s 나오는데, 요즘은 이런 중고 서버 카드도 가격이 올라서 그냥 R9700이나 Intel B70 사는 게 나을 수도 있음
B70은 소프트웨어 성능이 아직 별로임. 인텔 자체 포크 써야 하고 그마저도 기대 스펙 못 뽑아냄
몇 년 전 회사에서 K80들 버렸는데 열냉각 반복돼서 완전 고장 직전이었음. 풀가동시 배기구에서 나오는 열이 헤어드라이어 급이었음
그거 폐기할 때 나이가 몇 살이었는지 궁금함. AI 버블 관련해서 H100/H200이 5년 버틴다고 가정하고 감가상각 장난치는 회사들 있다는 의심이 있음