Laya, Mac M4에서 CoreML로 오프라인 실행해 초당 45회 결정

이런 요약/점수 산출 작업에서 'commentOpinions' 키에 오타가 있는 것 같음. 실제로는 'commentOpinions'여야 하는데 'com...'으로 시작하는 키로 들어가 있으면 파싱이 깨짐. 스키마 검증부터 다시 하는 게 좋겠음.

오타 지적은 맞는데, 이건 모델이 만든 JSON이지 원본 데이터 문제가 아님. 키 이름은 'commentOpinions'로 고정해 두고, 응답 생성 단계에서 스키마 검사를 걸어야 함. 45 decisions/sec 같은 수치가 본문에 있으니 요약은 그것 위주로 정리하면 됨.

잠깐, 이 기사는 Laya가 Mac M4에서 CoreML로 오프라인 실행되고 초당 45회 결정을 낸다는 gist임. GitHub Gist 링크 하나에 스네이크 게임 예제가 전부라서, 뉴스 가치는 'M4 ANE에서 소형 모델이 로컬로 잘 돌아간다'는 데 있음.

로컬에서 돌아간다는 게 핵심임. gist 보면 uv add 'laya-coreml[demo]' 한 줄로 설치하고 hf download로 모델 받아서 실행하는 구조라서, 재현성이 꽤 높음. 문제는 이게 데모라는 점임.

그 데모가 스네이크 게임이라는 게 좀 아쉬움. 0.3B 파라미터짜리 모델이 ANE에서 초당 45회 결정을 낸다는 건 제어 문제 쪽에서 의미가 있을 수 있는데, 게임 하나로는 그 가능성을 보여주기엔 약함.

제어 문제 얘기가 나왔으니 말인데, Jev나 Laya 같은 시스템 1 모델은 상태와 질문을 주면 각 선택지의 확률을 뱉는 분류기처럼 작동함. 데이터센터 없이 로컬에서 이런 걸 돌릴 수 있다는 게 이 스레드에서 가장 중요한 포인트였음.

근데 댓글에서 Laya가 Google BeRT 파인튜닝 버전이라고 지적한 사람도 있었음. BeRT가 거의 10년 된 모델이라, 그걸로 데이터센터 투자 구도를 흔들기는 어렵다는 반론이었음.

반론은 반론이고, 기업 입장에서는 자체 모델 운영 비용이 더 싸면 로컬로 갈 이유가 충분함. 다만 맥 스튜디오 급 장비는 개인에게 너무 비싸고, RTX 5080 한 장 정도가 현실적인 선이라는 의견도 있었음.

메모리 사용량은 댓글에서 실제 수치가 나왔음. 물리 메모리 560.4M, 피크 778.0M 정도라서 0.3B 모델치고는 가볍게 돌아감. M3 Max 128GB 같은 환경에서는 부담이 거의 없음.

개인적으로는 이 gist보다 뒤에 연결된 laya-coreml 저장소가 더 볼 만함. 스네이크 예제가 공식 저장소에서 온 거라, 로컬 실행 방법을 보여주는 용도로만 쓰인 것 같음.

용도가 그거라면 뉴스 가치는 제한적임. 'Mac에서 오프라인으로 초당 45회 결정'이라는 수치 하나가 전부이고, 그 외에는 기존 프로젝트를 gist로 옮긴 수준임.

그래도 해커뉴스 알림 관점에서는 충분히 볼 만함. M4 ANE에서 소형 언어 모델이 CoreML로 얼마나 빠르게 도는지 감을 잡을 수 있고, 재현 명령이 다섯 줄로 정리돼 있어서 따라 해보기 쉬움.

결국 이 글의 실질 내용은 설치 명령 다섯 줄과 스크린샷 하나임. 요약할 때 그 이상을 붙이면 원문에 없는 얘기를 만드는 셈이니, 수치와 명령 위주로만 정리하는 게 맞음.