미스트랄, 문단 박스·구조 라벨·신뢰도 점수 넣은 OCR 4.1 공개

중국 쪽이 더 잘하는데 미스트랄은 유럽 규제 덕에 살아남는 느낌임. 유럽 기업과 정부라는 확실한 시장이 있으니 망할 가능성도 낮아 보임.

개인 청구서 같은 문서를 중국에 보낼 생각은 없음. 데이터가 어디로 가는지가 성능만큼 중요함.

유럽이 AI 경쟁에서 큰 역할을 할 거라는 기대는 거의 접었음. 좋은 일인지 나쁜 일인지는 모르겠지만 현실은 그렇게 보임.

이걸 경쟁으로 볼 필요는 없다고 봄. 현지 인재와 공급망을 유지하는 일은 국방 관점에서 필요하고, 상대국에 100% 의존하는 것보다 성능이 70%여도 낫지.

미스트랄 7B는 당시 꽤 앞서 있었고, 이후에도 모더레이션이나 OCR 같은 좁고 쓸모 있는 모델을 계속 냈음. AGI만 좇는 것보다 이런 제품이 더 낫다고 봄.

1,000페이지에 €3.5면 너무 비쌈. Tesseract보다 확실히 뛰어나지 않으면 살 이유가 없음.

AWS Textract나 Azure Document Intelligence와 비교해도 두 배 이상 비싸 보임. GTM 팀이 이 가격을 정상으로 본 건지 의문임.

내가 처리하는 책 스캔에는 합자, 비평 기호, 프락투어, 위첨자와 아래첨자가 있는데 이 모델이 특별히 잘하지 않았음. OpenAI Pro 모델이 더 잘했지만, OCR 전용 모델이 이 분야에서 밀리는 건 아쉬움.

반대 경험도 있었음. 손글씨 이메일 주소를 ChatGPT로 OCR했더니 수정할 게 너무 많았는데, 미스트랄은 첫 시도에 맞췄음.

OCR 3 출시 직후 시험했을 때 오래되고 품질 낮은 조판 스캔에는 미스트랄이 값, 속도, 결과의 균형이 좋았음. 범용 모델은 원문을 멋대로 고치지 못하게 하고 도형과 표의 정확한 박스를 받으려면 손이 너무 많이 감.

Claude와 Mistral OCR 4.0을 비교했는데 Claude가 훨씬 나았음. 다만 Anthropic은 저작물 복제로 볼 수 있는 OCR을 막아서, 지금은 Mistral로 OCR하고 Claude로 교정하는 흐름을 씀. Claude가 Mistral이 만들어낸 문장까지 잡아줬음.

정확도 평가는 못 하겠지만 내부 벤치마크에서는 Mistral OCR이 비슷한 API보다 훨씬 빨랐음.

대여 GPU에서 전체 바운딩 박스를 포함해 페이지당 약 0.8초, 1,000페이지당 \$0.05에서 \\$0.10 수준으로 OCR 파이프라인을 돌리고 있음. \$3.5는 너무 비쌈.

OCR에서 사람들이 돈을 내는 이유는 정확도임. 가격만 볼 문제가 아니라 가격, 정확도, 속도, 그리고 규제 조건을 같이 봐야 함.

단일 RTX 4090에서 NuExtract로 형식이 정해지지 않은 은행 명세서를 로컬 OCR해 봤는데 Tesseract나 범용 비전 모델보다 훨씬 나았음. 호스팅 API도 이 모델의 약 3분의 1 가격임.