PyTorch로 직접 구현한 최신 LLM 아키텍처 모음 OpenArch, 해커뉴스에서 Kimi-K2 라우터 버그 지적받아
- OpenArch는 Llama, Qwen, DeepSeek, Gemma, Kimi, GPT-OSS 같은 최신 오픈소스 LLM 아키텍처를 PyTorch로 직접 손으로 구현해 파일 하나에 모델 하나씩 담은 저장소임. 어텐션 종류, 정규화, MoE 라우팅, 위치 인코딩 선택을 나란히 비교할 수 있게 코드를 읽기 쉽게 유지하는 게 목표라고 밝힘 (star 82, fork 2, commit 97).
- 해커뉴스 댓글이 Kimi-K2의 라우터가 torch.topk(..., k=self.num_experts)로 돌아 모든 전문가를 태우는 문제를 지적했고, 작성자가 버그라고 인정함. 다른 MoE는 k=self.top_k를 쓰는데 생성자의 top_k=8을 저장하지 않은 데서 나온 실수임.
- 구현은 Sebastian Raschka의 LLM Architecture Gallery에 실린 모델을 원 논문, 기술 보고서, 참조 config.json을 보고 옮긴 것이며, transformers 같은 프로덕션 라이브러리와 경쟁하지 않고 논문에서 구현으로 넘어갈 때 참고하는 게 목적이라고 저장소가 밝힘.
- 댓글 논의는 오픈 웨이트 모델이 추론 엔진에서 그대로 돌지 않는다는 쪽으로 번짐. vLLM, TensorRT-LLM, SGLang이 대표 엔진으로 언급됐고 셋 다 Apache 2.0이며, Cerebras는 웨이퍼 스케일 칩용 자체 서빙 스택을, 구글은 TPU에 XLA 컴파일러를 쓴다는 설명이 나옴.
- 개인 메인테이너가 앞으로 나올 모델 업데이트를 계속 따라갈 수 있겠냐는 질문에 작성자는 최선을 다하겠고 기여는 환영한다고 답함.