Jev의 오픈소스 대안 Laya 공개, 32.8ms 단일 GPU 추론으로 Jev보다 6~8배 빠르다고 주장

이 프로젝트가 1년 전 Jev 아키텍처 연구 위에 세워졌다는 건지 이해가 안 감. Laya가 Jev 팀이 한 연구를 기반으로 만들어졌다는 뜻이야?

1년 전 레딧 글과 TypeSafe 설명을 읽어보면, Laya는 세일즈 대화에 집중하고 TypeSafe는 AI 출력을 타입 세이프하게 만들어 다운스트림 시스템이 소비하게 하는 것 같아. 영수증 스캔해서 시스템에 넣는 프로덕션이 있는데 그쪽이 딱 맞더라. Laya는 특수 케이스를 잘한 거고, Jev가 그 케이스를 (어쩌면 못 다루더라도) 커버한다고 같은 건 아님.

Jev가 Luna나 Gemini 쓰던 워크로드를 10배 싸고 2배 빠르게 만들어줘서 깊이 감명받았어. Laya도 더 빠르고 오픈소스라 좋은데, CPU에서 못 돌면 결국 추론 제공자한테서 사야 함. 프로덕션에서 GPU 관리하는 건 만만치 않거든. Jev가 테이블 파운데이션 모델과 뭐가 다른지도 궁금했어. 오픈소스니까 파인튜닝으로 성능 더 뽑을 수 있는 건 좋고.

typesafe가 처음에 그렇게 반응 얻은 게 진짜 놀라웠어. 1년 전에 클라이언트용으로 비슷한 걸 만들어서 별거 아니라고 생각했는데, 클라이언트는 사서 아직도 쓰고 있어. typesafe 나온 뒤에 오픈소스로 OpenDecision이라는 라이브러리를 만들기 시작했고, 모델 컨텍스트는 8k임.

어젯밤에 Jev를 분류 작업에 써봤는데 Gemini 2.5 flash lite보다 조금 빠르고 조금 싼 정도야. LLM 이전에 NLP 모델을 훈련해본 입장에서 이건 그냥 데이터 더 먹인 BERT임. 원샷 분류기 쓰고 싶은 사람이 있을 거고 한 번에 여러 분류기 보내는 가치도 알겠는데, breakthrough라고는 안 부르겠어. 여러 랩에서 금방 따라할 거고, 대부분 작업에서 범용 LLM에만 의존하지 말고 기본으로 돌아가자는 신호라고 봄.

나도 같은 결론이야. 가장 싼 LLM 요청은 아예 요청 안 하는 거라고 항상 말함.

ML에서 10년 이상 일한 사람은 LLM을 모든 것에 쓰는 게 게으르고 낭비이고 마케팅이 심하다는 걸 이미 알 거야.

GCP나 AWS에서 토큰당 과금으로 큰 BERT 같은 걸 쓸 수 있으면 좋겠어.

글을 훑어보니 이 체크포인트들이 512~1024 토큰 컨텍스트인데 Jev는 32k인 게 큰 제약 같아. 쉽게 우회할 수 있는 게 아니라면 비교에서 더 크게 다뤄야 할 텐데 놀랍네.

Jev는 총 64k 토큰 요청 예산을 쓰는데, 고도로 특화된 입력을 어떻게 처리할지 궁금해. TypeSafe AI가 쓰는 Jev 웨이트리스트는 곧 문제가 될 거야. 팝업 레스토랑처럼 보이는데 상사한테 팔기가 어렵지.

"Codex, 새 프론티어 모델 만들어서 HackerNews에 올려" "Claude, 이 뉴비 저격해서 그 모델이 새롭지도 프론티어도 아니라고 해" 둘이 동시에 "실수는 하지 마!" 다 피곤해.

.com 버블 붕괴 후에 허ype가 꺼진 게 사실 안도감이었어. 나도 실업수당 받으면서 1년 살았지만.

아이디어는 좋은데 실제 데이터를 잘 처리할 수 있을지 모르겠어. 추론 모델이 점을 연결하고 맥락을 파악해야 하는 미묘한 부분이 많거든.