Show HN: Flide, Jev류 의사결정 모델 추론을 vLLM·SGLang보다 최대 9.5배 빠르게
- Flide는 exact state forking으로 Jev류 의사결정 모델 추론을 vLLM, SGLang보다 최대 9.5배 빠르게 처리하면서 모델이 낸 답을 그대로 유지한다고 주장함
- 입력 하나에 질문이 여러 개 붙을 때 공유 입력을 한 번만 계산해 가장 큰 속도 향상이 나오고, 질문이 하나여도 모델 크기와 입력 길이에 따라 최대 3배까지 빨라짐
- Apache 2.0 라이선스에 Python 3.10+, PyTorch 2.12+ 기반이고 PyPI의 flide 패키지로 배포되며, arXiv 논문(2610.42148)과 flide.org 문서를 함께 공개함
- 셀프 호스팅 방식이라 모델을 자기 GPU에 올려야 하고, 0.8B 모델은 RTX 3050에서도 충분히 돌아가며 테스트는 Linux에서만 했음(윈도우는 WSL2 필요)
- 자체 모델 OneJev1.6-0.8B를 flide serve --model OmniJev/OneJev1.6-0.8B로 바로 띄울 수 있고, Hugging Face의 Decision Index 리더보드에서 다른 모델과 비교할 수 있음
Hacker News 의견들
안녕하세요, Flide 팀입니다. Jev류 의사결정 모델 추론을 vLLM, SGLang보다 최대 9.5배 빠르게 만들었고 정확도는 그대로 유지했음. 소스는 깃허브에 올려뒀으니 피드백 환영합니다.
9.5배는 대체 어떤 조건에서 나오는 숫자임? 단일 사용자에 결정 하나 뽑는 상황이면 vLLM이랑 비슷하지 않음? 제일 큰 속도 향상은 어떻게 낸 거고 트레이드오프는 없나? '정확도 유지'라고 하면 트레이드오프가 없다는 뜻 같은데, 컨텍스트를 어떻게 구성해야 최대치가 나오는지도 궁금함.
막상 써보고 싶은데 내 데이터셋은 같은 입력에 결정 질문이 여러 개 붙는 구조임. 로컬 모델 중에 뭘 먼저 붙여야 할지 아직 못 정했음.
한번 써보세요. Hugging Face의 Decision Index 리더보드 보면 참고가 되고, README에 지원 모델 목록도 있음. 자체 모델 OneJev도 있는데 flide serve --model OmniJev/OneJev1.6-0.8B로 바로 뜸.
이거 모델을 직접 호스팅해야 함? 그렇다면 3050 카드에서 돌릴 수 있는 모델은 뭐임?
네, 셀프 호스팅이라 자기 GPU에서 모델을 서빙함. 3050이면 0.8B 모델은 충분하고 긴 입력도 여유 있음. 다만 Linux에서만 테스트했으니 윈도우면 WSL2 써야 함.
입력 하나에 질문이 여러 개 붙는 경우에 특히 빠름. 공유 입력을 한 번만 계산하니까. 질문이 하나여도 모델 크기랑 입력 길이에 따라 최대 3배까지 나옴.