Nvidia RTX Spark 노트북, 리눅스에서 암호화 펌웨어가 GPU 클럭을 묶어 추론 속도를 35%로 떨어뜨려
- Nvidia RTX Spark 노트북에 리눅스를 듀얼부팅해 추론을 돌리면 암호화 펌웨어가 GPU 클럭을 묶는 바람에 속도가 정상의 35% 수준까지 떨어짐
- 같은 작업을 WSL에서 돌리면 이 저하가 나타나지 않아, 리눅스 네이티브보다 WSL로 돌리는 게 낫다는 게 기사 결론
- 기사 제목이 처음에 DGX Spark로 잘못 붙었다가 RTX Spark로 수정됨. DGX Spark는 리눅스가 기본이라 같은 문제가 성립하지 않는다는 지적
- RTX Spark는 맥 미니 형태로도 판매돼 집에 두고 추론용으로 쓰기 적합하다는 댓글이 붙음
Hacker News opinions
이거 지금은 버그라고 하는데 곧 유료 잠금 기능이 될 것 같음. 로컬에서 위험한 오픈 모델 돌리려면 보안 기능 해제 라이선스 결제하라는 식으로 갈 듯.
제목은 DGX Spark라는데 링크는 RTX Spark 노트북임. 둘은 완전히 다른 물건이고, 리눅스에서 잘 안 도는 건 RTX Spark 쪽 얘기 아님? DGX Spark는 기본이 리눅스잖아.
기사는 RTX Spark 얘기니까 제목이 바뀌어야 함. 사이트에서 이미 고친 모양임.
서브헤딩에서 3개 나열하는 거 요즘 Claude 문체 같아서 읽기 피곤함. 근데 그 나열 자체는 예전부터 있던 수사법이고 LLM이 그걸 베낀 것뿐 아닌가.
DGX Spark 쓰는 입장에서 제목 보고 어이없었음. 그래도 NVIDIA Platform Controllers and Framework를 리버스 엔지니어링해서 리눅스 버전을 만들면 됨.
노트북에서 굳이 추론을 왜 돌리냐. 집에 꽂아두고 tailscale로 접속하면 배터리도 안 먹고 발열도 없음.
집이 안정적이지 않은 사람도 있음. 들고 다니면 남이 못 건드리니까.
사람들은 그냥 노트북 생김새가 좋아서 쓰는 거임. 이동성 필요하다고 우기다가 결국 콘센트에 꽂아둠.
몇 년 안에 추론 대부분이 로컬로 갈 것 같음. 모델 파라미터도 시스템 프롬프트도 내가 통제하고 구독료도 안 냄.
이거 완전히 클라우드 종속으로 밀어붙이는 거 아님? 중앙집중 AI는 검색이나 소셜 통제보다 훨씬 강력함. 소버린 AI 챙겨야 함.
NVIDIA는 이미 로컬이 클 걸 알고 AI DRM 준비하는 듯. 용량 해제 라이선스에, 모델 라이선스에, 토큰당 과금까지.
예전 같으면 이렇게 생각하는 게 편집증 같았겠지만 요즘 자동차 회사들이 다 이러잖아. 경쟁도 없으니 안 할 이유가 없음.
오픈소스가 검색이나 소셜을 못 이긴 건 네트워크 효과 때문임. AI는 운영체제나 실행 파일처럼 그냥 소프트웨어라 오픈소스가 이김. llama.cpp 최적화만 봐도.