개인 개발자가 8× B200으로 3.8B LLM을 43시간·998달러에 학습해 CORE 0.384 기록

AIME에서 잘 나오는 점수까지 끌어올리려면 최소 비용이 얼마일지 궁금함.

글이 LLM이 쓴 것처럼 느껴졌음. LLM 출력물을 너무 많이 읽어서 이제는 어디서나 그런 문체가 보이는 건지 모르겠음.

뭔가를 찾는 데 과하게 집중하면 어디에나 보이기 마련임. 작은 LLM이 정보를 인코딩하는 새 방식을 열고 있는데, 문체보다 내용에 집중하고 싶음.

AI가 썼다는 의혹은 누구나 붙일 수 있음. 이제 명료한 기술 문서를 잘 쓰면 오히려 인간처럼 보이려고 일부러 엉성하게 써야 한다는 분위기는 너무 과함.

난 전혀 그렇게 안 느꼈음. 하루 종일 LLM 산문을 해독하느라 짜증 나는 편인데 이 글은 그 부류가 아님.

나도 처음엔 그랬지만 꽤 잘 편집한 LLM 초안 같았음. Claude로 초안을 만들고 문장마다 내 말로 고친 뒤, 다시 Claude에게 사실과 수치를 검토시키는 방식은 이해 확인에도 도움이 됨.

Pangram은 인간 작성 비율을 50%로 보더라. 많이 고쳤지만 Claude 특유의 리듬은 남아 있음. 도스토옙스키를 읽고 한동안 말투가 바뀐 적도 있어서 LLM 문체도 사람에게 영향을 줄 수 있다고 봄.

나도 코딩이 예전 같지 않다는 걸 깨닫고 몇 달은 우울했는데, 지금은 다른 쪽으로 생각하게 됐음. Haiku와 결정적 코드를 섞어 미국 부동산 관리 시스템의 세금 준수용 Excel·CSV 파서를 만들었고, 알려진 형식은 코드로 검사한 뒤 헤더만 Haiku에 넘겨 변환 계획을 받음.

그런 사례는 작은 모델을 주문형으로 학습하는 방향으로 갈 수 있다고 봄. Claude에는 예외 사례만 묻고 샘플 데이터를 만든 뒤 작은 LLM에 넣으면 호출을 줄일 수 있음. LLM 생성 프로젝트든 일반 소프트웨어든 프로젝트용 도구가 중요하다는 데 동의함.

나도 비슷한 흐름임. LLM 덕에 매일 배우지만 흡수할 수 있는 양에는 한계가 있고, 실험은 늘 조금 앞서가서 따라가게 됨. 학습 목표에 맞춘 개인화와 빠른 실험 피드백은 일부 분야 교육 방식이 될 수도 있다고 봄.

약 10억 파라미터로 다시 해보고 싶음. gated delta net, 레이어별 또는 n-gram 임베딩, gated residual 같은 최근의 작은 모델 아이디어를 한꺼번에 넣고, 2K 컨텍스트에서 gated delta net이 이득이 있는지도 확인하고 싶음.

Qwen이나 DeepSeek 계열처럼 아키텍처, 파라미터 수, 데이터셋을 고른 뒤 로컬 GPU나 임대 GPU에서 돌릴 수 있는 오픈소스 학습 프로젝트가 있으면 좋겠음.

그 목표는 지식과 편의성 사이의 애매한 지점에 있음. 상용 제품은 많고 강의나 책을 따라 만든 학생 코드도 찾을 수 있겠지만, 빈틈은 전문 개발자가 채울 거라고 봄. 모델 학습 시장을 마이크로소프트의 수익 모델이 채우는 건 원치 않음.