GitHub PR 4만7천 건 분석에서 2026년 등장한 Claude풍 어휘 군집이 지난달 사람 작성 PR의 45% 차지
- 저자는 매일 GitHub Pull Request 100개를 수집해 595일 동안 4만7,464건, 502만4,747단어를 분석했음
- 2025년 이후 PR을 KL-divergence k-means로 8개 어휘 군집으로 나눴고, 한 군집은 2026년에 나타났음
- 새 어휘 군집은 지난달 사람 작성으로 분류된 PR의 45%를 차지했으며, 대표어로 load-bearing, quietly, survived, latent 등이 제시됨
- 사이트는 load-bearing이 전체 말뭉치에서 100만 단어당 20회지만 해당 군집에서는 123.04배 많고 정점에서 100만 단어당 113회였다고 표시함
- 저자는 이 분석이 Claude 말버릇을 직접 추적한 결과는 아니며, 레이블 데이터 없이 특정 어휘 군집의 증가를 찾은 것이라고 설명함
Hacker News 의견들
'vacuous'가 목록에 없는 게 의외임. Claude의 단어 선택과 문체가 코딩할 때의 즐거움을 많이 깎아먹더라.
문체도 거슬리지만 설명이 더 답답함. 짧은 코드 설명도 박사학위가 있어야 읽을 듯한 전문용어를 과하게 씀.
박사학위가 있어도 해결 안 될 듯함. 의미 없는 전문용어로 그럴듯하게 말하다가, 정작 중요한 부분은 얼버무리는 경우가 있음.
LLM은 문제 영역에서 흔한 용어를 골라 쓰는 편임. 내가 아는 용어와 맥락으로 다시 설명하라고 하면 꽤 나아지더라.
Claude Code가 최근 'Output styles'를 추가해서 이 문제를 다루기 시작했음.
한 화면에 핵심이 들어오고 과장 없이 보여줘서 좋았음. 다만 이 결과를 너무 깊게 해석할 필요는 없고, 사람도 LLM과 대화하며 이런 말버릇을 받아들일 수 있다고 봄.
내가 작업한 걸 Claude가 최근 계속 'spike'라고 부르더라. 그 말이 정확히 뭔지는 아직도 모르겠음.
애자일에서 spike는 배포할 코드를 만드는 일보다, 뭔가를 알아내는 데 목적이 있는 작업을 뜻함.
'gate' 같은 단어를 찾아보고 싶으니 검색창이 있었으면 함. 브라우저 찾기로는 되지만 페이지 안 검색이 더 편할 듯.
제목의 load-bearing은 일부러 현학적인 표현이면서 동시에 '헛소리로 가득 찬'이라는 뜻으로도 읽히게 지은 거라 봄.
단어 빈도만 보지 말고 'it's not X, it's Y' 같은 대조 문장, 문장 길이, 단서 조항도 분석해 보면 좋겠음.
저자도 Claude의 말버릇을 직접 추적한 것은 아니라고 선을 그었음. 레이블 데이터 없이 특정 어휘 군집이 늘어난 사실만 찾은 것이고, 모델 출시일을 넣은 구조 모형은 결과가 설득력 없어서 뺐다고 함.
벽 같은 텍스트를 보면 사후 처리로 그냥 'TLDR;'이라고 시킴. 근본적으로 출력 단계에서 고치는 편이 낫지만 토큰 낭비를 감수하는 셈임.
Claude는 자기 글을 대체로 높게 평가해서, 자기 문체를 바꾸게 하려 할 때 문제가 됨.
이 페이지는 GitHub Actions로 매일 갱신되고, 저자는 하루 표본을 PR 1,000개로 늘리는 중이라고 함. 백엔드 없이 이런 앱을 만들 수 있는 점도 재밌음.
이 자료가 보여주는 건 Claude가 특정 단어를 좋아한다는 정도임. 그 어휘가 나쁘거나 실제 문제라는 결론까지는 여기서 나오지 않음.