WebLLM, 브라우저 WebGPU로 LLM 추론하지만 업데이트 중단과 호환성 문제 지적
- WebLLM은 브라우저에서 WebGPU를 사용해 LLM 추론을 실행하는 MLC AI의 공개 프로젝트이며, GitHub 기준 별 1만 8800개와 포크 1400개를 기록함
- 데모
chat.webllm.ai는 WebGPU가 없는 환경에서 WebGPUNotAvailableError를 내며 실행되지 않고, 리눅스 Firefox는dom.webgpu.enabled를 수동으로 켜야 할 수 있음 - 한 사용자는 프로젝트가 사실상 중단됐다고 평가했고, 다른 사용자는 Gemma 2 이후 업데이트가 없어 현재는 Transformers.js를 권장한다고 말함
- 사용자가 WebLLM을 쓰는 사이트는 모델 선택에 따라 브라우저 세션마다 500MB에서 약 1GB의 모델 파일을 내려받게 됨
- 일부 환경에서는 셰이더 단계당 저장 버퍼 한도 차이로
maxStorageBuffersPerShaderStage초기화 오류가 발생함
Hacker News opinions
몇 년 썼지만 사실상 죽은 프로젝트임. 6개월 전에 결국 걷어냈으니 시간 낭비하지 말라고 하고 싶음.
그럼 뭘로 바꿨음?
데모가 chat.webllm.ai인 듯한데, 리눅스의 Firefox와 Chromium 둘 다에서 WebGPUNotAvailableError가 남. WebGPU가 필요하다는데 내 환경에서는 못 돌리겠음.
Chrome은 하드웨어 가속을 켜고 WebGPU 플래그를 활성화하면 됨. 나는 그렇게 해서 돌아갔음.
Firefox는 about:config에서 dom.webgpu.enabled를 켜야 할 수도 있음. 리눅스는 그래픽 드라이버와 스택이 워낙 제각각이라 보안 공격면이 크다고 보고 Mozilla가 기본 비활성화한 걸로 앎.
"Bake me a cake"만 넣어도 maxStorageBuffersPerShaderStage를 10개 요청하는데 내 한도는 9개라며 런타임 초기화에 실패함.
개인 프로젝트에서 이 엔진을 꽤 즐겨 썼음. 다만 Gemma 2 이후 업데이트가 없어서, 지금은 Transformers.js를 쓰는 편이 낫다고 봄.
고객 대상 사이트에 넣을 거면 모델 선택에 따라 브라우저 세션마다 500MB에서 약 1GB를 내려받는다는 경고를 반드시 넣어야 함.