iroh 기반 분산 LLM 추론 Mesh LLM, 여러 머신 GPU 풀링해 OpenAI 호환 API로 노출

iroh 덕분에 커스텀 하드웨어 안 만지고도 분산 컴퓨팅 되는거 같은데

네트워크 통한 처리량이 너무 느려서 인터랙티브 용도로는 못 쓸듯

그건 틀린 말임, llama RPC는 느리지만 skippy의 스테이지 스플릿은 훨씬 빠름

cocompute.ai가 이미 이거 잘 하고 있던데

거긴 모델을 여러 디바이스에 스플릿하는게 아니고 그냥 로컬 모델을 인터넷에 올리는 거라 완전 다른 문제임

성능 정보가 안 나와있어서 다른 방식보다 훨씬 느릴것 같은데, 찾아보니 Qwen 235B A22B가 2노드에서 16 tok/s 나온다고 함, 인터랙티브엔 좀 아쉽지만 나쁘지 않은 수준

perf는 대충 계산 가능함, 디코딩할때 토큰당 2 x hidden_size x num_shards 바이트를 네트워크로 보내야 함

내 홈랩에서 5ms 레이턴시/지터 시뮬레이션 해봤는데 메트로 레이턴시 정도면 스플릿 꽤 잘 됨, GLM 5.2로는 10 tok/s 나옴

노드 간 페이로드 암호화 되나? 다른 유저 요청 읽을 수 있는거 아님?

iroh는 dial-a-key라서 엔드포인트 키 기반으로 암호화된 QUIC임

나 Mesh LLM 컨트리뷰터고 skippy 엔진 만든 사람인데 질문 받음

여러 종류의 epyc 서버들 묶어서 쓸 수 있다니 대단함, 이런식으로 합치는거 진짜 잘 만들었다

중간에 머신 하나 죽으면 페일오버 되나? 동적으로 재라우팅함 아니면 그냥 리트라이함?

분산 컴퓨팅이면 계산 그래프에 있는 모든 액터가 시퀀스를 알게 되는데 프라이버시는 어떻게 처리함? 액티베이션 poisoning 막는 방법은 있음?

퍼블릭 메시 참여할 인센티브가 뭐임? VRAM 1/8 기여하면 추론 점유율도 그만큼 보장되는거임?

Exo랑 차이가 뭐임?

비슷한거 찾아봤는데 AI Horde가 제일 큰 편임, KoboldCPP 텍스트 컴플리션 API 쓰고 어뷰즈 방지로 워커가 1주일 누적 업타임 있어야 신뢰 워커로 인정됨