하이브리드 추론 에이전트, 잠재 공간에서 생각하고 텍스트로 행동함
- HybridAgents는 잠재 추론과 텍스트 기반 도구 호출을 하나의 생성 과정 안에서 동적으로 오가도록 설계된 에이전트 구조임
- 3개 모델 규모와 11개 벤치마크(수학, 과학, 의학, 검색, 에이전트 추론)에서 평가했고, 프론티어 LLM 에이전트와 기존 에이전트 프레임워크 대비 성능이 10.4% 향상됨
- 토큰 사용량은 35.5%에서 54.7% 줄고, 추론 속도는 1.8배에서 2.6배, 비용은 2.7배에서 3.7배 절감됨으로 나타남
- HybridLink라는 경량 모듈이 텍스트 모드와 잠재 모드 전환을 맡고, 연속 작업 메모리가 여러 턴에 걸쳐 문맥 손실 없이 유지됨
- HybridRL은 잠재 공간에서 생각할지 텍스트로 행동할지를 학습하며, 잠재 사고 내용을 직접 검사할 수 있게 설계됨
Hacker News opinions
벤치마크 어디 있는 거임? 토큰이랑 속도만 좋아진 건지, 정확도도 오른 건지 궁금함.
논문 9페이지부터 벤치마크 나오는데 읽어보긴 함? 속도 얘기만 있는 게 아님.
이게 연속 사고 체인(continuous chain of thought)이랑 뭐가 다른지가 제일 궁금함. 논문에 나오는 근거가 두 문장짜리 주장뿐이고 둘 다 좀 의심스러움.
잠재 벡터도 결국 토큰 임베딩이랑 같은 공간에 있고, 도구 호출도 일반 트랜스포머처럼 생성 모드에서 토큰 찍는 거라 차이가 생각보다 작아 보임.
안전 쪽에서 보면 생각을 텍스트로 못 보게 되는 게 제일 문제임. 토큰 몇 퍼센트 아끼자고 모니터링 수단을 버리는 셈이라 불안함.
Astra 루프 트랜스포머랑 비교하는 댓글에 답하면, 그쪽은 오픈 웨이트에 논문이랑 코드까지 다 공개돼 있음.
'생각한다'는 말이 정의부터 애매한 건 맞는데, 신경과학도 생각을 정의 못 하니까 그걸로 AI 생각을 부정하긴 어려움.