GitLab.com, 10월 19일부터 요금제별 API 한도 적용. 비인증 요청은 IP당 시간당 60회

이거 LLM 스크래퍼 때문인 것 같은데. 결국 봇 때문에 일반 사용자가 한도 나눠서 피해 보는 구조잖아.

그럴 거면 페이지를 완전히 캐시 가능하게 만들거나 코드를 최적화하는 데 먼저 힘쓰지. rate limit 걸고 차단하는 건 임시방편으로밖에 안 보임.

인증 없으면 시간당 60회면 분당 1회인데, 이거 너무 짜다.

평균이 그렇다는 거고, 토큰 버킷이면 60개를 몰아 쓰고 리필될 때까지 막힐 수도 있음.

맞아, 1초에 60개 다 써도 되고 알아서 나눠 써도 됨.

근데 이걸로 스크래퍼는 못 막음. 질의마다 IP를 새로 쓰니까.

NAT 뒤에 있는 사람들은 답 없네. gitlab.com 열기만 해도 graphql 12번에 api 2번 호출하니까 시간당 4페이지 보는 셈임.

공개 이슈 좀 보거나 PR 몇 개 리뷰하려 해도 분당 1회는 턱없이 부족함. 오픈소스에 기여하려는 사람한테 사실상 페이월 세우는 건 별로지.

GitHub도 요즘 공개 repo에 봇 탐지 같은 게 붙었더라. UA 바꾸는 확장 켜놓고 깜빡하면 로그인하라고 막음. 다 LLM 대량 스크래핑 때문임.

GitHub은 로그아웃 상태에서 커밋 히스토리 보는 한도가 사실상 0이고 소스 파일은 시간당 5개 정도임.

사람들이 에이전트 플로우를 만들면서 개발자 시트 수요가 줄어드니까, 이건 usage based pricing으로 가는 첫 단계 같음.

스크래핑당하는 repo에 킥백을 주면 오픈소스 자금 마련에 좋을 텐데.

킥백 발표 3분 만에 봇 돌려서 자기 repo 긁는 사람들 나올 거고, 가짜 repo로 보상만 빼먹으려는 시도도 터질 듯.

안내문 자체가 오픈소스에는 해가 되는 방향이더라. 트래픽이 원하는 관객에서 안 오면 프로젝트를 private으로 돌리거나 Premium으로 올리라는 식임.

GitHub도 따라하면 four nines 갈 텐데 왜 안 하나.

Claude가 보도자료까지 쓰고 있는 거 보소. 읽으면서 느낌이 좀 그렇더라.

GPTZero에 돌려보니 100% AI라고 확신한다고 나왔음. 저 정도 확신은 처음 봄.

난 별로 Claudism이 안 느껴지던데. 문장 꼬이는 것도 없고 'it's not' 같은 표현도 없던데.

LLM으로 GitLab이나 GitHub 건드리는 거면 GraphQL로 바로 가라. REST로 이슈 JSON 10개만 읽어도 컨텍스트 터지는데, GraphQL은 같은 토큰으로 수백 개 읽고 요청 수도 줄어듬.

그건 장담 못 함. GitHub에서 조직 규모가 크면 GraphQL 쿼리 하나가 응답도 받기 전에 시간당 app limit을 태우더라. GitLab도 200명 규모 셀프호스팅에서 페이지뷰 하나가 DB 쿼리 5만 개 나왔음.