Baseten, LLM 추론을 지연시간·처리량 프런티어 이동과 확장 기법으로 분류

기법 자체는 수년째 거의 안 바뀐 느낌임. 정밀도는 조금 낮아지고 speculative decoding 수용률은 나아졌지만, 추론 효율에 가장 큰 영향을 주는 지점은 모델 아키텍처 설계 단계라고 봄.

최근 새로 나온 것 중 가장 큰 건 P/D 분리라고 봄. DSpark/DFlash 이후 speculative decoding도 꽤 달라졌지만, LLM 성능 최적화의 기본기는 지난 몇 년간 놀랄 만큼 안정적이었음.

아키텍처를 건드리는 건 모델을 처음부터 다시 학습해야 해서 가장 어려운 지점이기도 함.

처리량과 지연시간 외에 품질과 지능도 세 번째 축으로 다뤄야 한다고 봄. 속도와 비용의 절충점을 평가하려면 용도별 벤치마크가 필요함.

글에 jagged frontier와 실험 스윕 필요성, 그리고 MXFP4·NVFP4 양자화에서 품질 손실 없이 효율이 크게 오를 수 있다는 점을 넣긴 했음. 이 부분을 더 잘 설명할 방법이 있으면 듣고 싶음.

'프런티어 위를 이동하거나 프런티어 자체를 밀어낸다'는 말은 사실 어떤 기술에도 붙일 수 있는 동어반복처럼 들림.

그래도 둘로 나누려는 의도는 이해함. 프런티어를 바꾸는 쪽은 절충 없이 성능을 높이니 더 강한 종류의 개선임.

speculative decoding의 guess and check는 1990년대 x86의 speculative execution, 2000년대 중반 Speculator의 분산시스템 적용을 떠올리게 함. 오래된 최적화가 다른 스택에서 다시 나오는 경우가 많음.

그렇다면 x86의 Spectre나 Meltdown 같은 문제가 LLM에서는 프롬프트 인젝션이나 포이즈닝 형태로 나올 가능성도 있나 궁금함.

나는 이걸 깊은 통찰이라기보다 그냥 '추측하고 검증하기'라고 봄. 토큰을 미리 추측하는 트랜스포머는 이미 GPT 아닌가.

포트폴리오 이론의 efficient frontier는 분산 투자 조합의 경계를 설명하는 개념인데, 여기 그림은 선 하나라서 용어 사용이 어색함. 차라리 무차별곡선이 더 맞아 보임.

저자들이 말하는 건 포트폴리오 이론의 효율적 프런티어라기보다 파레토 프런티어에 가까움. 그리고 포트폴리오 이론의 efficient frontier도 보통 선으로 그려짐.

나는 datacenter GPU가 부족하고 비싸다는 조건에서 추론을 최적화하는 쪽이 더 흥미로움. llama.cpp의 단일 바이너리와 이기종 장비 지원, vLLM·SGLang의 paged attention과 동시성 장점을 합친 엔진을 만들고 있음.

RTX 5090과 RTX 4090으로 pipeline parallelism을 쓰면 vLLM·SGLang이 RAM 캐시에서 크래시하거나 잘못된 커널을 고르기도 함. 저가 장비 동시 처리에는 PCIe를 고려한 pipeline parallelism, RAM 캐싱, 도메인별 n-gram speculative decoding이 특히 효과적이었음.

Astra가 쓰는 것으로 보이는 recursive depth도 곧 전략 목록에 들어갈 듯함. 전통적인 전체 forward pass와 샘플링 대신 트랜스포머 내부 상태를 재귀적으로 바꾸는 방식으로 추측됨.

작은 모델에서는 양자화와 speculative decoding으로 비용을 많이 줄였음. 아직도 원하는 비용 대비 성능 비율을 찾는 중임.