VM 한 대에 웹서버 1,500만 개를 올리는 실험, smoltcp와 DPDK, AF_XDP로 커널을 우회함
원문을 읽지 못해 Hacker News 토론으로 요약했습니다
- 댓글에 따르면 목표는 1 CPU 코어와 10GB RAM의 VM 한 대에서 웹서버 1,500만 개를 돌리는 것임
- 댓글 작성자들은 '웹서버 1,500만 개'가 클라이언트 입장에서 HTTP에 응답하는 IP/포트 조합 1,500만 개를 뜻한다고 봄, iptables 투명 프록시 같은 와일드카드 셀렉터로 한 번에 처리할 수 있다고 함
- 댓글에 따르면 글에서 Host 헤더를 'virtual hosting'으로 언급함
- 댓글 작성자가 smoltcp의 기본 동시 연결 제한이 매우 낮아 임베디드용으로 적합하고 범용 웹서버로는 부적합하다고 지적함
Hacker News 의견들
추상화를 걷어내면 하드웨어가 아직 얼마나 남아 있는지 다시 보게 되는 글이라 재밌게 읽었음. 설명 방식도 깔끔함.
제목에 web이 들어가서 HTTP 파싱이나 라우팅 얘기인 줄 알고 하마터면 안 읽을 뻔함. 그냥 15M servers on one VM으로 바꾸는 게 나을 듯.
10GB RAM에 코어 1개면 생각보다 작은 머신임. M4 Mac mini급이라 제목이 오히려 스토리를 덜 팔고 있음.
1,500만 개는 결국 HTTP에 응답하는 IP/포트 조합 1,500만 개 얘기임. 와일드카드 셀렉터로 iptables transparent proxy 걸면 한 번에 잡을 수 있음.
smoltcp는 기본 동시 연결 제한이 엄청 낮아서 범용 웹서버로는 못 씀. 임베디드용으로 만든 거라 그 한계는 그대로임.
그래도 이건 연결 수 한계를 깨보는 실험이니까 smoltcp 기본값만 보고 판단하기는 좀 이름.
커널을 userland로 옮기는 흐름 보면 리눅스가 마이크로커널처럼 되는 거 아닌가 싶음. eBPF 쪽은 exokernel에 더 가깝다고 봄.
소규모 홈서버로 수백만 유저를 서빙하는 프로젝트에도 이런 방식이 쓸 만할 것 같음.