Jev를 한 심볼씩 호출해 챗봇으로 만든 jevchat 공개, README는 '비용은 다소 비실용적, 결과는 웃기다'
- Jev에 사용자 질문과 지금까지 생성한 답변을 주고 다음 심볼 하나를 고르게 하는 방식으로 만든 챗봇 저장소 jevchat 공개, 알파벳과 STOP 선택지의 확률 분포에서 샘플러가 심볼을 뽑고 STOP이 나오면 멈추는 구조임.
- 저장소는 스타 34개, 커밋 9개, 브랜치 1개 규모이고 docs, jevchat, tests, tools 폴더와 jevchat.toml, pyproject.toml로 구성됐으며 마지막 커밋은 8시간 전 README 수정임.
- README는 재미를 위한 아이디어이고 비용은 다소 비실용적이며 결과는 웃기다고 밝히고, 잘린 토큰 목록을 포함한 여러 알파벳과 샘플링 전략을 제공함.
- 단일 토큰 예측 기반 Jev 구현을 직접 만들려던 논평자는 그 사이에 이미 5개 넘게 나와 있었고 Jev를 챗봇으로 만드는 아이디어도 두 명이 먼저 했다며, 아이디어에서 결과물까지 걸리는 시간이 급격히 줄었다고 씀(sgnt.ai/p/jev/).
- Jev에 100개 질문을 던져 그 답을 임베딩으로 쓰면 임베딩 모델보다 많은 걸 얻는다는 주장에, 다른 사용자는 2년째 LLM에 JSON 토큰을 강제하는 방식으로 같은 일을 해 왔고 Jev의 장점은 싸고 빠르다는 것뿐이라 가벼운 추출 말고는 부적합하다고 씀.