미시간대 연구: 비영어 텍스트에 최대 180배 에너지, 벵골어는 15.3배인데 정확도는 더 낮아

기사에서 정작 쓴 모델이 뭔지(Qwen 3, Gemma 3, Llama 3.1) 나오는 데까지 반쯤 읽어야 하는 게 아쉽다. 그건 첫 문단에 있어야 할 정보 아님?

논문만 보면 구성상 제 위치긴 해. 초록에서 모델 전반에 걸친 격차라고 밝히고 실험으로 들어가니까. 다만 기사랑 헤드라인은 별로인 게 맞음.

근데 여기 쓴 모델이 18개월 전 기준인데 출판 주기가 이렇게 긴 게 맞나? 마지막에 최신 모델로 벤치 다시 돌릴 이유는 없나 싶다.

API로만 접근하는 Anthropic이나 OpenAI 모델은 전력 소모를 어떻게 재나? 내 컴퓨터에서 못 돌리잖아.

한국어로 물어보면 DeepSeek가 중간에 영어로 추론하다가 마지막에 한국어로 번역하는 게 보인다. 토큰 아래 임베딩 단계에서 무슨 일이 벌어지는지는 아무도 모르는 것 같고.

구글 AI 오버뷰가 'Answer in English only'라고 명시하지 않으면 영어로 답을 안 해줘서 짜증난다. 브라우저 언어를 강제로 따라가게 하면 안 되나.

원어민 수를 지표로 쓰면 영어랑 프랑스어가 실제보다 효율적으로 보인다. 비원어민이 원어민의 3배쯤 되고 학습 데이터도 그쪽에서 많이 나왔는데.

핵심은 토큰당 에너지가 아니라 출력 길이인 것 같다. 대부분 언어가 0.1J/token에 몰리는데 최악의 경우 같은 문장을 45번 반복해서 4.8J/token까지 튄다. 언어별 900회씩 돌렸으니 표본은 충분하고.

우리 쪽에서 재현해봤는데 nw-small(Qwen3.8-27B-FP8)에서 영어 62.2J, 중국어 154.1J, 티그리냐 823.8J, 샨 1407.4J 나왔다. 언어별 50개 응답 기준이고 정확도는 티그리냐가 0/76으로 처참했다.

그 표에 speculative decoding 수용 비율도 있으면 좋겠다. dspark랑 dflash 차이, sglang이나 vllm 썼는지도 궁금하고.

중국어랑 러시아어가 영어보다 에너지를 덜 쓴 건 좀 의외다. 중국어는 토큰이 더 많이 나올 줄 알았는데 중국 모델이라 학습 영향이 있나 싶다.

결국 언어별로, 최소한 문자 체계별로 토크나이저를 따로 쓰라는 얘기 아님?

이건 언어 간 전이학습이 별로 안 된다는 뜻이기도 하다. 읽고 쓰는 부분만 다르면 전체 에너지에서 차지하는 비중이 작아야 하는데. 같은 텍스트 번역본으로 사후학습하면 달라지는지 실험해볼 만하다.

나는 그냥 영어로 토큰 아끼고 마지막에 번역한다. 여러 언어 하는 사람들한테는 이미 상식이었던 것 같은데.