Perplexity, 결정 모델 Decider v1.3과 Flash v1.3을 Apache 라이선스로 공개

AI 업계에 창의력이 완전히 말라붙은 것 같음. 이게 뭐 대단한 신기술이라고 새 제품이라고 내놓는지 모르겠음. 구글 Decisions API도 똑같고.

GCP 안에서 이미 돌아가고 있으면 켜기 쉬운 게 어디임. 이건 새로움보다 시장 선점 문제지.

쉽게 재현되는 기술이라고? 그럼 먼저 나온 회사가 영원히 독점하는 게 맞다는 건가.

다들 수백만에서 수십억씩 챙기는데 우리만 호구인가 싶더라. 암 정복하는 사람보다 돈 되는 앱 만드는 쪽으로 다 몰리는 게 아쉬움.

AA Decision Index 보면 v1.3과 v1.2 벤치마크가 거의 똑같음. Flash만 4점 올랐더라. 결정 모델에 Flash 버전을 따로 내는 흐름 자체가 이해 안 감. 결정 모델의 존재 이유가 추론 모델보다 싸고 빠른 건데, 플래그십이 제일 빠르고 정확하면 되는 거 아님?

작업 난이도랑 위험 허용도 차이가 커서 지능, 비용, 속도, 보정 사이에서 고를 여지가 있는 게 낫다고 봄. 대량 처리에서는 특히.

플래그십이 무조건 제일 빠르고 정확해야 한다는 건 실제로 안 그럼. 17M 파라미터 NLI 모델로 간단한 건 몇 배 빠르게 처리하고, 어려운 작업에서는 27B 결정 모델이랑 정확도 차이가 거의 안 나는 경우도 있음.

보안 용도로 이런 걸 진짜 쓰는 데가 있나?

쓴다 해도 공개는 안 할 거고, 라이브 콘텐츠 모더레이션이나 스트리밍처럼 추론 모델이 너무 느린 곳이면 몰라도. 텍스트 마이닝에는 꽤 좋음.

결정 모델은 LLM처럼 경쟁 벤치마크 문화가 없음. 왜 그런지 모르겠음.

jev-decision-index 스페이스가 꽤 정확하더라. 나는 그거 참고함.

로컬 벤치마크에서 잘 나오고 가격도 경쟁력 있음. Inception Labs가 Mercury API를 끊어서 타이밍도 맞았고. 양방향 어텐션이 결정 모델에 더 맞는 것 같음.

이 글 보고 Cloudflare Clairic이나 ScaleDown Extract를 찾아봄. locate랑 비슷한 기능임. 내 용도로는 ScaleDown이 더 싸고 정확했음.

내 벤치마크에서는 이번 버전이 오히려 퇴보함. decision index 순위도 그렇게 나와서 더 높은 순위 모델을 봐야 하나 싶음.

Bedrock 같은 서비스에서 결정 모델이 나오길 기다리는 중. AWS가 평가 성능 올린다고 글을 썼는데 직접 호스팅하거나 Jev를 Lambda로 불러야 했음.