2B 텍스트-이미지 모델 Pyramid-JiT, 약 $20K 학습 비용으로 Apache 2.0 가중치 공개

INT4로 양자화하면 어떻게 동작할지 궁금함. 텍스트 인코더를 T5-small이나 CLIP으로 바꾸면 2.5GB 아래로 내려가서 WebGPU로 브라우저에서 돌리는 것도 충분히 가능할 듯.

이 프로젝트에서 제일 어려웠던 게 뭐였어? 나는 영상 생성 쪽 효율 기법을 보고 싶은데, 지금 연구 방향이랑 입문자가 볼 만한 포인터 있으면 알려줘.

효율적인 어텐션 구현 연구가 엄청 많음. DeepSeek나 Kimi가 LLM에서 그랬던 것처럼. flow-matching이나 diffusion 반복 횟수를 줄이는 reflow 기법도 있고, CVPR 2026 논문 목록에서 영상 생성만 필터링해서 LLM한테 골라달라고 하는 게 제일 빠를 듯.

근데 전형적인 t2i 모델이 약한 부분은 여기도 똑같이 약해 보임. 과하게 매끈해지고 이상한 광택이 돌고 팔다리도 뭉개짐.

가중치는 Hugging Face에 올라와 있음. Linum-AI/pjit-21k.

빅랩은 효율 모델을 만들 이유가 없음. 연산량 접근성 자체가 해자니까. 중국 랩은 사정이 달라서 효율 연구가 거기서 많이 나오는 거고, 작은 팀이 이런 걸 한다는 게 반가움.

그건 좀 아닌 듯. 빅랩이 효율 연구를 공개 안 할 뿐이지 안 하는 건 아님. 모델을 내부적으로 더 효율적으로 만들면 같은 가격 받으면서 마진만 올라감.

학습 데이터로 뭘 썼는지 궁금함. 생성 결과는 인상적이야.

오픈소스 데이터셋을 쓴 거야, 아니면 빅랩들처럼 긁어온 거야?

손가락 개수 평균은 맞는 것 같아서 웃김. 실패 사례를 보면 쇼케이스에 체리피킹이 얼마나 들어갔는지 궁금해짐.

VAE를 버린 게 직관에 반하는데 잘 돌아간다는 게 놀라움. 학습 인사이트를 블로그에 풀어준 것도 고맙고, $0.1M 아래로 LLaMA2-13B를 이긴 LLM 학습 논문이 떠오름.

$1K까지 비용을 낮추는 아레나를 만들면 개발자들이 열광할 듯. 작은 실험용 auto-research도 생각해봤어? 이런 워크로드의 최소 예산은 얼마 정도야?

결과는 좋은데 손이 거의 다 틀렸음. 학습 데이터 문제인가? 660만 이미지와 프롬프트가 어디서 왔고 뭘 담고 있는지 알려줄 수 있어? README에는 텍스트를 뺐다고 본 것 같은데.

개별 결과물보다 반복 속도에 집중한 게 좋음. 애니메이션에서는 한 부분만 고치고 나머지는 그대로 두는 게 중요하니까, 이미지에서 영상으로 갈 때 그런 제어를 어떻게 생각하는지 궁금함.

가중치 Hugging Face에 공개해줘서 고맙다.