TradingAgents, 별 10.3만 개 속 실거래 성과 검증과 코드 결함 지적

서로 다른 LLM을 쓰는 멀티에이전트가 앞으로 더 늘 것 같음. 여러 에이전트가 작성하고 검토한 코드는 확실히 나아 보였고, 나도 Dogpark 같은 메시지 보드 실험을 해봤음.

여러 LLM 분석과 멀티에이전트를 섞으면 혼자서는 생각 못 한 관점을 뽑아내더라. 비용은 크지만 가치가 큰 문제에만 Rightmind를 쓰고 있음.

에이전트는 결국 LLM을 부르는 노드가 있는 장기 실행 워크플로라고 봄. 분리된 메모리를 둔 에이전트도 만들었는데, 이 정도면 커스텀 노드를 넣을 수 있는 BPMN 설계도로 그려도 되는 것 아닌가 싶음.

멀티에이전트의 이점을 잘 모르겠음. 좋은 하네스를 붙인 단일 에이전트가 복잡한 멀티에이전트 환경보다 낫지 않나.

그래도 모듈화에는 쓸모가 있음. 에이전트는 특정 노드에서 LLM을 호출하는 워크플로일 뿐이라 역할별로 나누기 쉬움.

별이 10.3만 개나 되는데 실제로 써 본 사람이 어떤 결과를 얻었는지 궁금함. 뉴스와 소셜미디어를 증거로 모으는 방식이 타당한지, LLM과 이렇게 많은 입력원이 필요한지도 모르겠음.

이런 저장소의 별 상당수는 실제 사용자가 아니라 AI 유행에 올라타는 사람이 눌렀다고 봄.

몇 달 만에 별 10.3만 개면 구매한 별처럼 보임.

헤지펀드에서 10년 일했는데 이 설계는 방향이 빗나갔음. 모든 에이전트가 같은 뇌를 쓰는데 전문화로 능력을 제한할 이유가 없고, Reddit 감성과 기술 분석은 후행 지표임. 옵션 IV와 프리미엄을 보거나 실제 데이터로 가설을 검증하는 쪽이 더 맞음.

전문화된 작은 에이전트가 각자의 문맥과 기술을 갖고, 현장 지식이 있는 사람이 감독하면 아주 좁고 기술적인 분야에서도 결과가 좋아질 수 있음.

과거 모델에서는 거시경제 판단, 시장 가설, 익스포저 탐색, 후보 평가를 나누는 편이 단계 누락을 막았음. 더 좋은 모델이면 이 분해가 덜 필요할 수도 있음.

나도 자체 트레이딩 에이전트를 돌리고 있는데 지금까지는 조금 잃었음. 최적화 없이 마음대로 하게 뒀고, 진행 상황은 블로그에 기록 중임.

에이전트는 먼저 인덱스 ETF와 비교해야 함. 기업 뉴스로 종목 비중을 조절하되 넓게 분산한 포트폴리오보다도 못하면 의미가 없음.

코드를 한 시간 봤는데 실돈을 맡기기 전 고쳐야 할 문제가 여럿 보였음. Yahoo News를 감성과 뉴스 분석에서 중복 반영하고, Nvidia 감성 프롬프트는 강세 쪽으로 유도함. 응답이 잘릴 때 환각 메모리가 생기는 파싱 버그도 있음.

서브레딧 최신 글 5개 중 다수를 유지하면 품질 기준 없이 감성 분석을 조작할 수 있음. 리플렉션 프롬프트가 알파 인용을 강제해서 시장 전체 하락 때는 올바른 풋도 손실로 판단할 수 있음.

목적이 시장 시뮬레이션과 신뢰할 만한 백테스트라면, 그 정확도를 입증하는 성능이나 백테스트 결과를 어디서 볼 수 있는지 먼저 보여줘야 함.