GPT-6 Astra가 StarSkirmish 벤치 v0.2에서 57% 승률로 1위, 사람 작성 상위 봇 상대로는 7%만 이김

Pluto랑 붙여보면 좋겠음. 신경망 봇인데 CPU에서 돌아간다더라. 그러면 연습 상대로 난이도별 모델을 여러 개 배포하는 것도 가능할 듯함.

나 라이브로 Astra가 Pluto랑 붙는 거 해봤는데 0대 1000으로 완패함. 그 정도면 봇이 말 그대로 학살하는 수준임.

Astra가 50% 넘는 게 말이 됨? 강한 봇 상대로는 한 자릿수로 떨어지던데 이건 왜 그럼?

연습 경기는 허용됨. 근데 상대 소스코드는 안 줌. A, S 티어 봇은 그냥 원래 어려운 상대라서 떨어지는 거임.

1시간 제한 있는 게 좋음. 다른 벤치마크는 시간 제한이 거의 없는데 이건 실제 작업 느낌이 남. 48시간 라이브 했더니 Astra가 43시간 만에 클리어함. 다만 그 포맷이 LLM한테 유리했음.

솔직히 이게 뭘 재는 건지 잘 모르겠음. 코드 생성 속도인지, 전략인지, 게임 플랫폼 이해인지. 1시간짜리 코드 생성 제한도 좀 애매함. 외워둔 오픈소스 봇을 재현하는 능력이 결과에 크게 반영될 것 같음.

팩토리오 봇을 LLM으로 만들어본 적 있는데 Astra 나왔을 때였음. 작은 인자 받는 함수들을 디렉터리에 모아두고 에이전트 문서로 위치를 알려주는 식이었음. 메인 루프 하나에 몰아넣는 게 아니라 함수를 계속 호출하는 구조라 꽤 깔끔했음.

사람이 이기기는 힘들 듯. 한국 래더에 있는 AI 봇은 유닛 하나하나를 맵 전체에서 조종해서 분당 수천 액션을 찍음. 브루드워 메카닉이 워낙 빡세서 몇 달 안에 완전히 못 이길 것 같음.