꼬리 지연 시간이 평균 지연과 동시성 비용을 얼마나 차지하는지 로렌츠 곡선으로 계산함
- 예시 분포에서 p99 이상 요청이 평균 지연의 약 52%를 차지하고 p50 이상 요청은 약 99%를 차지함
- 리틀의 법칙에 따라 이 평균 지연 비중은 시스템 동시성 점유율과 같아서 느린 요청이 스레드를 가장 많이 붙잡음
- 저자 경험상 서비스에서 1-L(0.99) 값이 0.5 이상, 때로는 0.75 이상으로 나타남
- 저자는 꼬리를 잘라내면 안 된다고 주장함, 꼬리가 비용을 끌어올리는 주범인 경우가 많기 때문
Hacker News opinions
평균이랑 높은 백분위를 따로 보라는 말은 예전부터 많이 들었는데, 꼬리가 무거운 분포면 평균 자체가 꼬리에 끌려간다는 게 핵심이더라.
프레임워크들이 요청 하나당 코어 하나씩 먹는 식으로 스케일하는 게 제일 답답함. 파싱이랑 포맷팅이 아직도 느린 것도 문제임.
느린 요청이 동시성 자원을 잡아먹는다는 관점은 흥미롭더라. 나는 보통 지연을 결정성의 적으로 보고 잡는 편인데 이건 다른 접근임.