10년 된 CNN이 피부암 진단 62%로 GPT-6 Astra·Claude Fable 5.1의 42%를 앞서

계산기가 LLM보다 곱셈 잘하는 것과 같은 얘기 아님?

사람들이 이걸 계속 상기시켜줘야 함. 진짜 여러 번.

LLM에 계산기 MCP 붙여주면 그 차이는 사라지지.

LLM이 만능 상자라고 믿는 세상이라 가끔 현실 점검은 필요함.

근데 피부암 학습 이미지가 공개 인터넷에 수만 장 있는데 이 정도 성적이면 좀 실망인데. 우리 랩 동료들은 이제 '새 모델 학습 왜 함, LLM한테 물어보면 되는데' 소리 함.

그래서 tool call이 나온 거임. 판단은 LLM이 하고 계산은 도구가 하라고.

별로 안 놀랍다. LLM은 소프트웨어·수학 벤치에서만 날카롭고 만능은 아니라고 봄. 대신 프론티어 LLM으로 그 CNN을 더 개선할 수는 있을 듯.

MLE로 일하는데 이 글은 별로 유용하지 않음. 200개짜리 작은 데이터로 파인튜닝 CNN이랑 범용 모델 비교한 거잖아.

프론트페이지에 '속한다'는 개념은 없음. 싫으면 플래그 찍어. 업보트가 결정하는 거지.

프론티어 모델이 대부분 작업에 못하는 건 당연함. 코딩은 학습 데이터가 넘치니까 잘하는 거고, 피부암 이미지는 LLM 내부 표현이랑 잘 안 맞을 듯.

CNN은 convolutional neural network임. 나도 헷갈렸음.

좁은 과업 하나 대 수십억 장 이미지니까 직관적으로 하나가 이기는 게 당연하지.

Jev 같은 판단 모델을 왜들 좋아하는지 모르겠음. 규모 있는 서비스면 전용 분류기가 훨씬 정확할 텐데, 요즘은 LLM으로 그 모델 만드는 비용이 거의 0임.

Jev도 디딤돌로 쓸 만함. 확신 있는 케이스만 먼저 처리하고 그 사용 로그 모아서 전용 모델 학습하면 됨.

지식의 저주 문제도 있음. LLM한테 분류기 만들어달라고 말하려면 그 단어를 알아야 하는데 보통 사람은 모르고 귀찮아함.

파레토 법칙 아님? 80% 용도는 지능 20%면 충분하고, 다만 피부암은 거기 안 들겠지.

전용 분류기는 학습 라벨이 필요하고 LLM은 프롬프트만 있으면 됨. 속도 대 정확도 트레이드오프지.

커스텀 분류기 붙이는 엔지니어링 비용 무시 못 함. 결과가 충분하면 API 한 줄이 낫지.

선택지 순서가 확률을 바꾸고 20개 넘어가면 무너지기 시작함. 사람들이 이걸 모르고 LLM을 분류기로 씀.

오픈소스로 사전학습 모델 묶어서 CPU에서 돌리는 JeffyClassify도 있더라. LLM으로 라벨링 먼저 하고 그 데이터로 전용 모델 학습하는 흐름이 자연스러움.