바이두, 280B MoE ERNIE-5.5-Flash-Base 공개. 사후학습 없는 사전학습 체크포인트, EU·영국·한국은 라이선스 금지

이거 써본 사람 있음? 좋음?

지시 튜닝이 안 된 베이스 모델이라 코딩 에이전트 같은 데 쓰기엔 별로임.

대단하네. Qwen3.8-27B나 Deepseek-v4-Flash보다 강해 보임.

비교 대상이 DSv4지 DSv4.1 1017이 아니라서 사실상 두 버전 뒤진 모델이랑 비교한 거임. Qwen3.8-27B는 베이스 버전이 아예 안 보이는데.

TLDR: 280B에 14B 활성인데 파라미터 절반으로 Deepseek 1017보다 낫다고 함. 다만 지시 따르게 튜닝 안 된 베이스라 이 상태로 내는 게 이상함.

이상한 게 아니라 왜 이렇게 내는지 문서에 설명돼 있음.

구글, 엔비디아도 베이스 모델 그냥 냄. 완전 오픈소스 LLM 다음으로 쓸 만한 게 베이스 모델임. 원본 데이터셋은 법적 문제에 크기도 커서 아무도 못 쓰지만, 압축된 베이스에서 이어서 학습하는 건 가능함.

ERNIE라는 이름이 BERT처럼 옛날 느낌임. 리브랜딩하든가.

BERT 모델 아직도 잘 함. 최신 모델들도 잘 학습된 BERT는 못 이김. Bert and Ernie, 세서미 스트리트 아님?

이름이 1950년대 영국 Premium Bonds 추첨기 ERNIE 오마주가 아니라 'Enhanced Representation through kNowledge IntEgration'이라니 아쉽다.

사실 BERT 오마주임.

'dropped'가 최악의 단어임. 공개했다는 뜻도 되고 지원 종료했다는 뜻도 되니까.

크기가 흥미로운데 4bpw 이상 양자화하면 2x128GB에 들어감.

14B MoE면 더 작은 환경에도 들어갈 줄 알았는데 아닌가?

베이스 모델 내는 흐름이 사라지는 게 문제였는데 반가움.

베이스 모델 공개가 정렬의 확실한 방법임. 수백만 명이 각자 정렬하다 실패해도 방향이 다르면 서로 상쇄돼서 인류 평균 목표에 수렴함. 규제만 외치는 Anthropic, OpenAI와 달리 협력 없이도 되는 방식임.

그럼 베이스 모델이 정확히 뭘 할 수 있는데? 정렬이고 뭐고 없이 그냥 자동완성하는 사전추론 모델이랑 같은 거임?

정반대임. 한 집단이라도 충분히 강한 오정렬 AI를 만들면 끝나는 거지, 다 같이 만들면 괜찮아지는 게 아님.

이거 인피니밴드 멀티노드 클러스터에서 추가학습할 때 뭐 쓰면 좋음? NeMo? HF TRL+Accelerate?

라이선스가 빌드해서 쓰려는 목적치고 너무 제한적임. EU, 영국, 한국은 아예 금지고 파생물 관리 책임도 사용자한테 있음.

EU 규제 대응 비용이 아까워서 손 털려는 것 같음. GDPR 초기에 EU 접속 차단한 사이트들이랑 같은 상황임.

그냥 입법 리스크에서 자유로워지려는 조항일 뿐임.

ERNIE 4 나왔을 때 꽤 좋았고 다른 모델이랑 느낌이 달랐음. 바로 본론으로 들어갔는데 그때 deepseek v3랑 glm이 뜨기 시작했지. 몇 달 쓰다가 놨는데 이번엔 그 느낌 살렸으면 좋겠음.