Raschka가 짚은 Jev 열풍: bag-of-words부터 Jev까지 텍스트 분류의 계보
- Jev는 텍스트 분류를 목표로 하는 최근 공개 모델로, 지난 2주간 기술 커뮤니티에서 화제가 됨. GPT나 오픈웨이트 LLM도 같은 분류 작업을 할 수 있지만 Jev는 훨씬 빠르고 저렴하게 처리함.
- 좁고 잘 정의된 문제에서는 특화 분류기가 Jev보다 낫거나 비슷하지만, Jev의 강점은 특화 모델보다 훨씬 범용적이라는 점임.
- Raschka는 Jev를 맥락에 놓기 위해 트랜스포머 이전의 나이브 베이즈, 로지스틱 회귀, XGBoost와 bag-of-words 표현부터 RNN, CNN, 트랜스포머, 보정(calibration)까지 시각 가이드로 정리함.
- 그의 대학원 시절 텍스트 분류는 고정 크기 입력 벡터를 요구하는 고전 분류기에 맞춘 bag-of-words가 주류였고, Gmail 초기 스팸 필터도 bag-of-words를 쓴 나이브 베이즈 모델을 사용한 것으로 알려져 있음.
Hacker News opinions
글 좋음. 2022년 ChatGPT가 일반 목적 채팅 모델이라서 흥미로웠던 것처럼, Jev는 분류판 ChatGPT 순간이라는 느낌임. 작업마다 커스텀 분류기를 파인튜닝할 필요 없이 온갖 텍스트를 싸게 분류할 수 있음.
우리도 이메일 분류 전략을 비교 중인데 Jev가 꽤 유망해 보임. 링크 남겨둠.
Raschka 박사 글은 볼 때마다 좋음. 이번 글도 훌륭함.