Cloudflare, 결정 모델 Clef와 Clef-flash 공개하고 Hugging Face에 오픈소스

Jev 나온 지 며칠 만에 결정 모델이 우르르 쏟아지는데, 원래 있던 개념이야? 베끼기 쉬운 거임?

개념 자체는 Jev보다 1년쯤 먼저 있었음. Laya 찾아봐.

이미 학습된 트랜스포머 모델을 그대로 쓰면 되니까 LLM 학습처럼 대규모 컴퓨트나 데이터 정제, RL이 필요 없음.

Qwen 0.8b 같은 걸로 분류 태스크 시키고 구조화 출력 강제하면 잘함. 로컬에서 500ms 안에 이미지 분류 돌린 지 꽤 됐음.

Jev가 혁신한 건 인터페이스랑 API, 제품 컨셉임. API는 베끼기 너무 쉬워서 어떤 사전학습 LLM이든 이 방식으로 바꿀 수 있음.

범위가 좁으면 BERT 기반 분류기를 노트북에서 한 시간이면 학습함. 왕복 지연도 없고 메모리 1GB 미만에 돌아감.

학습은 어렵지 않은데 캘리브레이션된 분류 목표에 맞는 데이터를 만드는 게 진짜 어려움. 근데 사람들은 정확도만 보지 신뢰도는 신경 안 씀.

Cloudflare 요즘 릴리스가 계속 재밌고 가격도 좋아서 신뢰가 감. 믿기 어려울 정도임.

가격이 입력 100만 토큰당 $0.24라 Jev보다 6배임. Clef-flash가 $0.09라 그나마 경쟁력 있음.

그래놓고 파레토 프론티어 그래프에 비용 축을 안 넣은 건 좀 이상하더라.

이미지 입력 되는 건 좋음. HTML을 난독화해도 이메일이나 웹페이지 이미지를 보고 피싱을 잡으려던 자기네 내부 요구 때문인 듯.

기본적인 건 금방 만듦. 나는 요청 라우터 만들어서 분류기로 보내고 못 본 요청은 LLM으로 폴백하는 실험 중임.

Jev가 하이프를 잘 만들고 개념도 잘 잡아줬음. 그 하이프 창을 노리고 다들 뛰어드는 중임.