코딩 에이전트에 최적인 프로그래밍 언어는 무엇인가, 댄 루가 동적언어 토큰효율 신화를 검증하다

댄 루(Dan Luu)는 동적 언어가 정적 언어보다 LLM 토큰 비용이 낮다는 통설을 검증하기 위해 자체 이볼(eval)을 설계함
기존 인용글은 C와 Clojure의 토큰 효율 차이가 2.6배, J 언어는 평균 70토큰으로 Clojure(109토큰)의 거의 절반이라고 주장했으나, 문제 자체가 사소해서 일반화하기 어렵다는 게 핵심 비판임
두 번째 비교 자료(github mame/ai-coding-lang-bench)는 테스트 경로 오류로 한 에이전트가 존재하지 않는 경로를 자기 실행파일에 심볼릭 링크하면서 이후 모든 채점이 오염되는 버그가 있었음
댄 루는 *zstd RFC*만 주고 완전한 zstd 디코더를 구현시키는 자체 실험을 진행했으며, 동적vs정적 언어 우위와 J 같은 난해 언어의 우위가 유지되지 않을 것이라는 가설(각각 95%, 98% 확신)을 사전 등록함
GPT-5.6 Sol을 medium/ultra 난이도로 테스트한 결과, 간단한 문제에서만 보이는 언어별 격차가 실제 복잡한 작업에서는 사라지는 패턴이 재확인됨

Hacker News opinions

언어별 토큰 효율 비교하려면 동일 작업물의 결과량도 같이 봐야 정확한 비교가 됨. 웹서버나 피보나치 같은 표준 과제로 정규화해야 함

근데 그렇게 하면 결국 stackoverflow에 보일러플레이트 많은 언어가 유리해지는 거 아님? LLM이 진짜 잘 추론하는 언어랑은 다른 얘기일 수도

댄 루의 글은 좋아하는데 블로그 스타일링이 왜 이렇게 부실한지 이해가 안 됨

CSS 자유롭게 커스텀할 수 있게 하는 게 원래 취지임. 리더 모드 쓰면 됨

오히려 이 극단적으로 미니멀한 텍스트랑 시각화 조합이 좋았음. 웹 블로트 줄이려는 의도적 선택 같음

문법 밀도가 높다고 꼭 토큰이 싼 게 아님, 기호는 토크나이징이 잘 안 됨. 요즘 보면 언어 간 차이가 작아서 러스트 안 쓸 이유가 없어짐

동적 타입이 토큰 싸다는 주장이 맞다면 Wolfram/Mathematica처럼 극도로 간결한 언어가 최고여야 하는데, 실제로는 공개 코드가 적어서 LLM이 오히려 잘 못 씀

오딘(Odin)으로 실험해봤는데 결과 좋더라. 언어가 단순하고 표준 라이브러리가 강력해서 학습 데이터 적어도 잘 작동하는 듯

훈련 데이터 양도 요인이지만 어느 순간부터는 언어 설계 자체의 한계 때문에 수확 체감이 생긴다고 봄

하스켈처럼 약간 난해한 언어는 애호가만 쓰니까 코드 품질이 높고, 파이썬은 학교 숙제 코드가 넘쳐나서 품질이 낮음. 양과 질 사이 트레이드오프임

안전성이랑 가드레일도 관계 있음. Go/Rust처럼 컴파일러가 엄격하게 막아주면 LLM이 대충 끝났다고 우기질 못하고 계속 고치게 됨. JS/Python은 조용히 실패하는 경우가 많음

기존 유명 소프트웨어 재현시키는 평가는 신호로서 별 의미 없다고 봄. LLM이 학습 데이터에서 그냥 스타일 트랜스퍼 하는 거라 언어별 결과가 비슷해 보이는 거임

파이썬으로 AI 하네스 만들어봤는데 완전 망함. 라이브러리 코드 품질도 최악이고 크래시 남발. 결국 Rust+Tauri로 갈아타서 3주 만에 훨씬 안정적인 UI 만들었음