16개 LLM에 TIS-100 풀게 했더니 18개 퍼즐에서 새 프런티어 포인트 133개, 사이클 신기록 3개
- 16개 LLM에 TIS-100 전 퍼즐 55개를 pass@1로 한 번씩 풀게 한 결과 18개 퍼즐에서 새 프런티어 포인트 133개와 사이클 신기록 3개가 나옴.
- Opus 5.5와 GPT-6 Astra가 나란히 11개 퍼즐에서 새 포인트를 내 공동 선두이고, 포인트 수는 72 대 32로 Opus가 앞서지만 기록 근접도는 78.0 대 77.2로 95% 부트스트랩 구간(-0.7~+2.4)이 0을 포함함.
- 퍼즐을 푸는 능력과 최적화는 따로여서 Gemini 3.8 Flash는 53개를 풀고 새 포인트는 1개, Fable 5.1은 52개를 풀고 5개를 냄.
- 점수는 사이클, 노드, 명령어 세 축으로 매겨지고 하나를 줄이면 다른 게 나빠져서 퍼즐마다 단일 정답 대신 tradeoff frontier가 존재함.
- 포인트는 새 게임 리플레이와 10만 회 통과 테스트를 거쳐야 인정되고, 공개 후 며칠 만에 사람 플레이어들이 모델 프로그램 대부분을 개선함.
Hacker News 의견들
TIS-100은 내 사고를 넓혀준 게임임. 20번째쯤까지 깨고 멈췄는데 웹이나 TUI 샌드박스로 포팅됐으면 좋겠음. 퍼즐은 안 가져와도 되니까.
오픈소스 tis-100 VM은 이미 몇 개 있음. github.com/melograph85/tis100 같은 거. 나는 모듈마다 저렴한 MCU에 UART 4개씩 달린 실제 하드웨어를 상상했는데, 이웃 모듈로만 프로그래밍하는 in-band 방식이면 만들기는 지옥일 듯.
내 인생 최애 게임인데 한 레벨에서 완전히 막혔음. 스포일러도 LLM 도움도 받기 싫어서 몇 년마다 다시 붙잡는데, 어려운 퍼즐로 바로 복귀하는 게 너무 힘듦.
사람만 있는 리더보드를 앞으로도 유지할 수 있을까? Advent of Code가 글로벌 리더보드를 없앤 걸 보면 답은 없는 것 같음.
이 게임엔 안 맞을 수도 있는데 앞으로는 오프라인 대회가 늘어날 거라고 봄.
이 게임만큼은 AI 참가가 오히려 좋다고 봄. 리더보드를 뭐가 가능한지 확인하는 용도로 쓰니까 AI가 경계를 밀어주면 사람이 더 최적화하게 됨.
온라인 스코어보드는 이미 수십 년 전부터 봇과의 싸움이었음. 스트리밍이나 오프라인 대회로 가야 하고, 게임에 따라선 프라이빗 리더보드가 답임.