전 OpenAI 연구원이 세운 TypeSafe AI, 텍스트 생성 없이 구조화 결정만 내리는 System One 모델과 Jev 공개

둠 데모는 꽤 멋있었는데 '총 쏘지 말고 그냥 피하기만 해'라고 지시하면 거리를 안 벌리고 오히려 분홍색 악마한테 다가가더라. 내가 이해를 잘못한 건가?

Diogo Almeida를 한참 동안 Dario Amodei의 풍자 이름인 줄 알았음. 데모 영상 보고 나서야 진짜 회사인 걸 알았다.

텍스트를 아예 생성하지 않는다는 게 신기하네. 테슬라 FSD 스택이랑 기술적으로 어떻게 다른지 궁금하다.

베타 신청했음. 실제 파이프라인에 넣고 기존 LLM이랑 붙여보면 비즈니스 태스크에 따라 40~70% 정도는 대체할 수 있을 것 같고, 그 호출들의 API 비용은 한 자릿수 배로 줄겠지.

'엄청난 주장엔 엄청난 증거가 필요하다'는 태도는 좋은데 정작 증거는 안 보인다.

런치 영상에서 옷이 중간에 바뀌는 건 뭐임? 영상 전체가 AI 생성 같던데 목소리도 좀 합성처럼 들린다.

AST만 넣어주면 코딩에도 쓸 수 있을 텐데 TypeSafe에서 한번 시도해봤으면 좋겠다. 결국 더 나은 인코더랑 next-latent 예측을 쓰는 LLM이 이 아키텍처를 이기게 될 거라고 본다.

코딩에서 어려운 건 상태 설계임. 의존성을 컨텍스트에 넣는 문제라 아직 시도도 안 해봤고, 쉬운 작업부터 자동화하는 게 우리 철학이라 코딩 쪽 릴리스는 좀 더 기다려야 함.

5년 뒤를 미리 보는 느낌이라 소름 돋는다. AI 겨울은 없었다니까.

데모 코드는 하나도 안 보여주고 잘 돌아가는 애니메이션만 잔뜩 보여줌. 실제로 어떤 코드를 썼는지 궁금하다.

DSPy에 데코레이터 붙여서 가능한 곳은 TypeSafe로 자동 전환하는 포크를 만들어봤음. 실제 사용감이 어떤지 이걸로 확인해봐도 된다.

프런티어 모델 디프리케이션 주기랑 자체 호스팅 비용 때문에 대규모 자동화가 지긋지긋했는데 이건 꽤 끌린다.

OpenRouter나 Bedrock으로 나왔으면 좋겠음. 새 벤더 추가하려면 보안 검토에 구매 프로세스까지 다 거쳐야 하는데 AWS에 붙어 있으면 기술자들이 그냥 쓸 수 있으니까.

RLCD랑 병렬 샘플링은 그냥 마케팅 용어 같고 뒷받침이 없음. 70-500ms 대 3-329초 비교도 공정하지 않다. LLM은 긴 사고 사슬을 돌리는 건데 Jev는 좁은 구조화 작업에서 생성을 통째로 건너뛰니까 당연히 빠른 거지.

위키피디아 페이지 게임 벤치마크 보면 Jev가 비슷하거나 더 적은 홉으로 10배 적은 시간과 10배 적은 비용을 쓴다고 나옴. 사고 사슬 LLM이랑 비교하는 게 이상한 건 아님.

출력 토큰이 무료라는 게 이해가 안 됐는데, 자기회귀를 안 하니까 출력을 한 번의 순방향 패스로 다 계산해서 그렇다는 거네.

페이지 렌더링이 왜 이렇게 눈이 아픈지 모르겠음. 큰 타이틀 확대해보면 글자가 SVG로 그려져 있더라.

'System One 태스크'가 뭔지 설명이 없음. 빠른 응답이 필요한 작업인 건가? 모델 자체에 대한 건 아무것도 못 찾았다.

공개 벤치마크를 안 낸다는 건 점수가 안 좋을 거라는 뜻 아닌가.