미니맥스 H3, 오픈 웨이트로 공개되자마자 ComfyUI 데이제로 지원, RTX 3060서도 구동
- MiniMax가 오픈 웨이트 영상 생성 모델 H3를 공개한 당일 ComfyUI가 네이티브 지원을 시작함, 텍스트/이미지/영상/오디오를 입력받아 최대 2K 해상도, 15초 길이의 스테레오 오디오 포함 영상을 생성함
- 전체 정밀도 기준 123.6GB였던 메모리 사용량을 42.5GB로 66% 줄이는 최적화를 적용해 RTX 3060 같은 로컬 GPU에서도 구동 가능하게 만듦, 실제 16GB 3060에서 15초 클립 생성에 약 10분 소요됨
- 전체 파라미터의 약 40%를 차지하는 모듈레이션 웨이트를 함수적으로 동등한 룩업테이블로 대체해 메모리를 줄이면서도 출력 품질 손실이 없다고 주장함, 이는 디퓨전 모델의 타임스텝 특성을 활용한 기법으로 양자화와는 다른 방식임
- 레퍼런스 영상으로 카메라 움직임이나 연기, 컷 리듬 같은 모션만 가져오고 주제와 스타일은 다른 소스에서 가져오는 모션 트랜스퍼 기능을 지원해 그래프 기반 편집 작업을 가능하게 함
- 커뮤니티 반응은 갈림, 일부는 결과물이 놀랍다고 평가하지만 다른 일부는 여전히 AI 특유의 밋밋하고 뻔한 미적 감각을 지적했고, Seedance 2.5 같은 최신 비공개 모델보다는 성능이 뒤처진다는 평도 있음
Hacker News 의견들
LTX2, WAN 샘플 다 보고 폴더 삭제함. 완전히 무의미해짐. 라이선스 관련해서 EU, UK, US 논란은 있는데 그냥 디즈니 화 안 나게 하겠다고 새끼손가락 걸면 라이선스 주는 구조더라
이거 완전 AGI네, 할리우드랑 영화 산업 초긴장 타야 함
예시 영상 보면 남의 작품(TV, 광고, 게임) 학습한 게 뻔한데 보호장치가 전혀 없음. 창의력 고갈이 다가온다
넷플릭스가 스크롤하면서 대충 틀어놓는 무성의한 콘텐츠로 도배될 미래가 기다리고 있음
기술적으로는 인상적인데 일반인들은 AI 싫어함. 일자리 대체 이슈까지 겹치면 더 심해질 거고, 광고나 프리비즈용으로는 쓰일 듯하지만 극장용으로는 아직 아님
전체 메모리 사용량이 123.6GB에서 42.5GB로 66% 줄었다던데, 16GB RTX 3060으로 15초 클립 뽑는데 시간이 얼마나 걸리는지 아는 사람?
대략 10분 걸림
마우스 렌더링은 진짜 잘 나왔고 몇몇 클립은 현재 SOTA 뛰어넘는 느낌인데, 음료 캔 여는 클립은 여전히 AI 특유의 매끈함 느낌 남아있음. 오픈웨이트라는 게 커뮤니티 입장에서는 큰 승리임
이건 Seedance 2.0/2.5보다 1년 반 정도 뒤처진 수준이긴 한데, 오픈소스가 있으면 대형 파운데이션 모델들의 가격 압박도 생기고 플랫폼 안전 검열 때문에 작업 막히는 일도 줄어듦
4070ti super 16GB로 480p 10초 영상 뽑는데 10분 걸렸는데 결과물은 진짜 훌륭함
1분에 1초 분량 나오는 거면 나쁘지 않은데, 워크플로우 공유해줄 수 있음? 나도 같은 카드 씀
5080 16GB에서는 480p 10초가 3분 걸림, 마우스 워크플로우 길이만 5초에서 10초로 바꿔서 테스트함
같은 걸로 1080p 10초 시도했는데 결과물이 완전 별로였음, 큰 머신에서도 쓸만한 게 아니었음
기술적으로 인상적인 건 인정하는데 미적으로는 그냥 밋밋하고 뻔함
이게 지금이 최악의 버전이라는 거 감안해야지, 좀 기다려봐
모듈레이션 웨이트(전체 파라미터의 약 40%)를 룩업테이블로 대체해서 손실 없이 메모리를 줄였다는데, 이게 진짜면 LLM에도 적용 가능한 접근일지 궁금함. FPGA 같은 룩업테이블 하드웨어에도 적용될 수 있는 건지도 궁금
이건 diffusion 모델에만 적용 가능한 트릭임. 타임스텝이 0에서 1 사이라서 이걸 특정 해상도로 슬라이싱하고 각 구간별로 스케일/바이어스 룩업테이블을 만드는 방식이라 양자화랑은 다르고 실제로 손실 없음
디렉터의 가치는 여전히 유효함. AI로 원하는 샷을 생성하고 그걸 조합하는 능력이 중요한 거지, EDM 프로듀서가 악기 직접 안 쳐도 편곡 실력이 중요한 것처럼
Seedance 2.5가 방금 나왔는데 이것보다 훨씬 좋음. 이건 그냥 최신 무료 영상 생성기 정도로 보면 될 듯