DeepSeek, 552B MoE V4.1-Flash 출시하고 V4-Pro 요청을 새 모델로 전환 예정

허깅페이스에 이미 올라왔는데, 기존 V4 Flash가 284B였던 데 비해 이번 건 552B라 로컬 구동 난도는 훨씬 높아졌음. 비전도 넣고 KV 캐시를 토큰당 890바이트, 이전 Flash의 4분의 1로 줄인 건 좋지만 진짜 가벼운 Flash 버전도 필요해 보임.

기존 V4 Flash는 대체로 FP4라 160GB였지만 이건 FP8이면 510GB임. 듀얼 Spark나 Strix Halo에 맞던 모델이었는데, 이번 건 양자화해도 여러 대가 필요할 듯.

추가된 큰 부분은 Engram 가중치임. 백본 552B와 Engram 196B가 있고, 프리필은 8B, 디코드는 16B만 활성화하니 Engram은 SSD에 둬도 될 것 같음.

전체 크기가 커졌어도 활성 파라미터는 프리필 8B, 디코드 16B라서 Flash라는 이름은 맞다고 봄. 속도 기준으로 보면 이전 Flash보다 훨씬 빠르면서 성능도 올린 셈임.

SSD 오프로딩은 Qwen 3.8 Flash Next에서 맥 스튜디오 기준 프롬프트 처리 550에서 300, 생성 40에서 33 토큰/초로 떨어졌음. 이 모델도 300 정도가 나오면 만족할 만함.

DSv4 Pro와 비슷한 희소성을 쓰면서 활성 파라미터는 더 적고 Engram도 디스크에 둘 수 있으니, 빠른 저장장치만 있으면 저사양 소비자 장비에서도 느린 무인 작업용으로는 프런티어급 추론이 가능할 듯.

가격도 낮아져서 주력 구독 한도가 찼을 때 며칠 버티는 백업 모델로 쓰기 좋았음. 요청을 더 잘 따르는 편이고, 내가 소유한 고전 게임 ROM 내려받기 같은 요청도 미국 모델보다 덜 거부하더라.

나는 매일 밤 중복을 제거한 오류 메시지를 넣고 버그 원인을 찾게 하는 자동 버그 분류에 씀. 이런 작업에는 꽤 잘 맞음.

내 코드베이스의 OOB 접근 버그를 검토시키는 것조차 미국 모델은 막는 경우가 많음. 취약점 찾기 요청도 중국 모델은 잘 받아들이는 편임.

논문 5쪽 그림은 꽤 놀라움. 벤치마크가 실사용으로 이어지는지는 더 봐야겠지만, 입력 비중이 큰 에이전트 작업에서는 프리필과 KV 캐시 개선이 특히 커 보임.

CED는 20층 인과 인코더와 20층 디코더 구조임. 디코더 각 층의 상태 대신 최종 인코더 은닉 상태에서 전역 KV 캐시를 투영해서, 100만 토큰 컨텍스트가 약 1GB라는 건 인상적임. 추론 노력도 1부터 100까지 조절 가능함.

V4 Flash Vision Exp도 이미 비전을 지원했음. 다만 직접 써보니 이번 모델이 V4 Pro보다 나았고, V4 Pro는 중단 예정임.