GLM-Legal, Harvey LAB 전체 통과율 19.2%로 기반 모델 대비 12.5%p 향상
- GLM-Legal은 Harvey LAB에서 19.2% 전체 통과율을 기록했고, 기반 모델보다 12.5%p 향상됨
- LegalBench와 PLawBench에서 더 큰 파라미터 규모의 프론티어 비공개 모델과 대등한 성능을 보임
- 기반 모델은 경량 GLM-5.3-Flash이며, 수만 개의 법률 환경에서 강화학습으로 후속 학습함
- AutoClaw 데스크톱 에이전트에 적용될 예정이며, 계약 검토, 사건 준비, 국경 간 출시 계획 세 가지 업무 예시를 제시함
Hacker News opinions
변호사가 AI 쓴 걸 공개하는 법이 있어야 한다고 봄. 프롬프트 한 번 잘못 써서 감옥 가는 건 말이 안 됨.
근데 감옥 가는 건 결국 본인이 범죄를 저지른 거 아님? 법 시스템 문제랑 변호사 탓을 섞으면 안 됨.
판례 찾기나 조문 대조는 원래 시간 엄청 드는 일임. 사람이 반 페이지 분당으로 하는 것보다 낫다고 봄.
생성형 말고 기존 판례 중에서 관련 있는 것만 찾는 비생성 도구로 제한했으면 좋겠음. 세법 같은 건 규칙으로 바꾸기 쉬움.
나 대형 로펌 변호사한테 월 이메일 한 통에 500달러 내는데, 티 나게 AI로 쓴 것 같음. 핵심 디테일을 자주 놓침.
tracked changes랑 사람 검토만 말하는데, 환각 판례 문제는 안 다룸. 못 잡으면 판사한테 제재 먹는 거임.
변호사들 나중에 편하게 먹고살 것 같다는 말 있는데, 서명만 하는 구조가 되면 경쟁이 물량 싸움으로 갈 것 같음.
오픈 모델 아니라서 아쉬움. Harvey 마진 압박 얘기랑 같이 나온 거 보면 연관 있어 보임.
도메인별 특화 모델 계속 나오겠지. 16GB VRAM에서도 돌아가는 작은 모델이면 세법 전용 모델도 충분히 만들 수 있을 듯.
법률 쪽은 책임 구조가 이미 계층화돼 있어서, 결국 서명하는 변호사가 책임지는 식으로 정리될 거임.