Cloudflare, DNS 타깃 빌드로 피크 메모리 85% 줄이고 빌드 지연 절반 단축
- Cloudflare가 타깃 빌드 플래너와 같은 존 작업을 합치는 새 스케줄러를 도입해 피크 메모리를 85% 줄이고 DNS 변경이 Quicksilver에 기록되기까지 걸리는 시간을 절반으로 단축함
- Zone Builder가 받는 이벤트는 2022년 초당 250건에서 현재 초당 700건으로 늘었고 일부 존은 레코드 2000만 개를 넘어 수억 개까지 커질 전망임
- 2022년 글에서 예고한 존 설정 타깃 빌드를 실제로 적용한 것이 핵심이며, 어떤 빌드가 안전한지 증명하는 작업이 전체 작업의 대부분을 차지함
- 레코드 이벤트와 달리 존 이벤트는 여러 Cloudflare 제품에서 발생하고 변경 이유를 알려주지 않으며 같은 이름을 쓰는 여러 존이 공유하는 데이터를 바꿀 수 있어 너무 크게 잡으면 용량을 낭비하고 너무 작게 잡으면 엣지에 오래된 DNS 데이터가 남음
- 메모리 여유가 생기면서 파이프라인이 복원력을 위해 늘 유지하던 대기 시간도 안전하게 줄였음
Hacker News 의견들
초당 700건이면 Cloudflare 규모 치고 엄청 낮은 거 아님? 관리하는 도메인 수 생각하면 좀 이상한데
전 세계 등록 도메인이 4억 1200만 개니까 초당 700건이면 15%가 매일 바뀐다는 계산임. 그건 거의 말이 안 되지
Verisign 기준 3월 말 3억 6000만 개고 Cloudflare가 3분의 1에서 절반쯤 맡는다 치면 1억 8000만 개 정도임. 초당 700건이면 한 달에 18억 건이라 TLD당 월 10건꼴인데, 대부분 정적 페이지라 DNS는 몇 년에 한 번 건드리는 롱테일 분포라는 뜻임
메모리가 귀해지니까 소프트웨어를 더 효율적으로 짜려는 움직임이 나올지 궁금함. 메모리 가격이 1~2년은 높게 갈 것 같아서 지금 ROI랑 앞으로의 ROI를 같이 봐야 함
주말에 64GB 맥이 OOM 나서 열받았음. 문제 일으킨 앱들이 다 Electron 계열이었는데, Electron 자체 문제인지 그냥 코드를 못 짠 건지는 모르겠음
서버는 그렇다 쳐도 클라이언트는 답이 없음
Cloudflare는 예전부터 최적화 문화가 셌음. 블로그 뒤져보면 CPU, 지연, RAM 줄인 글이 잔뜩 있음. 내가 Cloudflare CTO였음
서버에서 컴퓨트 효율이 실제 매출에 영향을 주는 회사는 몇 안 됨. 핫패스 몇 군데 손보는 정도고, 클라이언트는 고객 만족 문제인데 측정이 어렵고 락인 때문에 별 상관 없음. 너도 구글, Cloudflare가 아니잖아
요즘 제일 핫한 KPI는 확보한 메모리 TB임
Cloudflare 기술 블로그 글들은 칭찬을 못 받는 것 같음. 사람이 직접 고른 느낌도 나고
이런 개선이 몇 년 뒤에 어떤 버그로 돌아올지 궁금함
Cloudflare DNS 쓰다가 하루 종일 로봇 검사에 시달려서 DNS 서버 바꿨더니 바로 끝났음. 다시는 안 씀