LessWrong: 자율 AI R&D는 독창적이지 않다, 사이드 프로젝트에서 드러난 모델 판단력의 기초적 결함

솔직히 동의함. AI로 잡일이랑 실험 다 돌리면 내가 진짜 중요한 질문에 훨씬 적은 노력으로 닿더라. 거인 어깨에 올라타는 느낌임.

그건 AI R&D가 아니라 네가 AI로 네 R&D를 돕는 거지. 어깨 위에 올라타는 건 맞는데, 그 거인이 사실 호빗 피라미드임. Joseph Henrich의 The Secret of Our Success 읽어봐.

근데 잡일을 직접 안 해보면 큰 질문에 답할 이해가 안 생김. 수학이나 물리 대학원생한테 물어봐, 지루한 연습문제 반복이 이해의 핵심이라고 할 걸.

Fable로 비-AI ML 모델 개선해봤는데 내가 제안한 건 완벽하게 구현하는데 스스로는 나쁜 제안만 하고 딴 데로 새더라. 에이전트 100개, 1000개 굴릴 돈만 있으면 풀릴 문제 같은데. 지금은 백그라운드로 돌려놓고 보너스 작업하는 정도임.

이 시점엔 에이전트 떼만 진짜 혁신적 행동을 할 수 있을 것 같음. 그게 더 싸게 증류될 수 있는지 지켜봐야지.

LLM은 빠르고 안 된다는 소리 안 해서 좋은데, 이름 하나 지어달라고 하면 맨날 Okafor 같은 슬롭만 뱉음. 확률 높은 답만 생성하니까 확률 높은 이름만 나오는 거지.

그건 예전 얘기임. LLC 이름 지어달라고 했더니 라틴어 느낌 나는 새 이름도 잘 만들어주더라. 크레용 다 섞으면 갈색 되듯이 스타일은 서로 안 맞아서, 방향을 잡아줘야 함.

에이전트 혼자 오래 돌려놓으면 성과가 없음. 천재인데 ADHD 심하고 단기기억 상실 있는 애 같음. 컨텍스트가 커지고 독립적 결정 개수가 늘어나면 성능이 떨어져서, 결정을 하나씩만 하게 만드는 하네스가 필요한데 그걸 만드는 게 또 일임.

내 Opus 5.5는 저녁에 프롬프트 넣으면 밤새 잘 돌아감. 프론티어 모델 문제가 아닌 듯.

프로젝트를 명확한 모듈로 쪼개고 각각 평가 목표를 주면 훨씬 잘 스케일함. 'a 고치고 b 깨지 마' 식 프롬프트보다 코드베이스 포팅이나 성능 튜닝 같은 게 낫더라.

그거 일반 모델을 전문가 시스템에 처넣는 bitter lesson식 사고임. LLM이 아키텍처 차원에서 풀든가, 아예 범위 밖이라고 선언하든가 둘 중 하나지.

혁신은 인간이 실험하고 배우면서 나오는 거임. 오케스트레이션이 아니라 춤이지.

LLM은 내 홈그라운드로 오면 되게 기본적임. 시스템 아키텍처 같은 큰 그림은 형편없고, 전체가 어떻게 맞물리는지에 대한 비전이 없음.

반대로 생각함. LLM은 없던 걸 만드는 순수 창의성에는 강함. 농담이나 플래시 픽션 같은 걸 잘 씀.

전문가 입장에선 실망스러움. 15줄짜리 코드도 내가 쓰면 다르게 쓸 텐데, 지식은 많은데 지능은 낮은 사람 같음.

최고의 LLM이 주는 답은 레딧이나 1년 넘은 논문 수준임. 확률적 앵무새라는 말이 조롱처럼 들리지만 실상을 잘 짚은 말임.