HN 메인 노출 후 AI 봇 트래픽이 블로그를 덮쳐 사이트가 느려짐
- HN 게시 뒤 블로그가 심하게 느려졌고 로그 분석 결과 요청 대다수가 봇 트래픽이었으며 기사를 가져오지도, 자바스크립트를 실행하지도 않음
- NGINX 로그를 보니 전체 트래픽의 거의 절반이 한 서비스에서 나왔고, 이 서비스는 웹사이트 변화를 자주 조회해 AI 요약 뉴스레터를 만드는 곳이었음
- 나머지는 Claude bot, OpenAI bot, Google 검색 인덱서 같은 알려진 크롤러였고, 저자는 robots.txt로 AI 스캐너를 막고 검색 계열만 허용함
- 취약점 스캔 경로를 Claude에게 흉내 내게 해서 정보 노출이 없는지 점검했고 요청 제한도 추가함
- 저자는 이번 일을 계기로 몇 주간 인프라를 손봐서 고부하에서도 확장되는 구조로 바꾸는 중임
Hacker News opinions
나도 HN 1위 갔었는데 5유로짜리 Hetzner VPS에서 CPU랑 네트워크 부하가 한 자릿수 퍼센트 수준이었음. C10k 문제는 10년 전에 이미 풀린 얘기라 이 정도면 괜찮더라
C10k랑 이건 다른 문제임. 서버에 동시 TCP 연결이 1만 개 열리려면 크롤러가 엄청 많아야 해서 좀 의문임
AWS, Google Cloud, Azure, Alibaba Cloud, Oracle 대역은 거의 다 막았음. Alibaba는 2년 전에 막았는데도 아직 하루 100만 번씩 때리더라. 전부 4xx 뱉어도 계속 옴
그럼 애플리케이션 단에서 막지 말고 IP 단에서 패킷을 그냥 drop해버려. 응답을 아예 안 주면 존재 자체가 안 드러남
CF Turnstile 써봤음? 나는 alyph.ai에 걸었다가 Turnstile 뚫는 브라우저 봇이 대만에서 몰려와서 회원가입을 아예 껐음. 구글이랑 링크드인 로그인도 소용없었음
포럼 쪽에도 Turnstile 걸어놨는데 curl 같은 단순 봇은 막아도 브라우저 드라이버 쓰는 RMT 스팸은 전혀 못 막음
클라우드를 다 막아도 주거용 프록시 봇넷으로 우회하니까 결국 정적 리소스만 열어두고 로그인한 사용자한테만 동적 기능을 주는 쪽으로 갈 것 같음