Surge AI가 세무 실무 50개 과제로 AI 에이전트 평가, 최고 통과율은 Claude Sonnet 5.5의 10.8%

내 세무사가 몇 년 전 신고를 잘못해서 2만 달러쯤 날렸음. 지금 SOTA 모델이 같은 실수를 할지는 모르겠는데, 매년 수천에서 수만 달러를 아껴줄 여지는 충분해 보임

그래도 실수 책임은 누가 지냐가 문제임. 그 세무사도 다른 고객들 사이에서 실적 기록이 있었겠지만 네가 그걸 알 방법이 없었던 거지

나는 세무사한테 물어보거나 다른 사람 고용하지 않고 내 신고서를 빠르게 훑어볼 방법이 늘 갖고 싶음

독일은 Buhl data 같은 데서 데이터 넣으면 환급액을 실시간으로 추정해줌. 5년 써보니 오차가 5% 미만이더라

금융 정보 전부를 LLM 회사에 넘기는 건 좀 그런데. 세무사도 어차피 본다는 말 듣고 나니 상황이 더 싫어짐

Zero Data Retention 정책 쓰는 추론 제공자도 있음. 그것도 아니면 로컬 추론 쓸 이유가 하나 더 늘었네

Sonnet 5.5가 Opus나 Fable보다 확실히 잘 나온 게 의외임. 다른 벤치마크에서도 같은 패턴이더라

벤치마크는 질문을 제대로 던지는 것 같은데, 저 수치를 직접 검증해본 사람 있나?

인간 기준선은 뭐임? 10% 통과율이랑 비교가 돼야 의미가 있을 것 같은데

해외 사는 미국 시민이라 세무가 복잡해서 직접 신고하는데, 몇 년째 초안이랑 서류 전부 Claude에 넣고 있음. 환율 잘못 쓴 거 찾아내고 어떻게 그 실수를 했는지까지 짚어주더라. 근데 예상 세액 계산은 완전히 틀렸고 지적해도 못 고쳤음

작년엔 GPT Sol이 전문 세무사보다 나았음. 토큰 2B를 태우고 내가 많이 몰아줘야 했지만 3~4천 달러 수수료보다는 낫지

현지 세무사랑 미국 세무사 둘 다 두고 있는데, Claude/ChatGPT가 검토랑 설명에서 큰 도움이 됨. 구글에선 안 나오던 관련 사이트도 찾아주더라

해외에 법인도 있어서 미국 세금 신고가 매년 2000달러는 깨지는데, 몇 년치 데이터 쌓이면 에이전트한테 맡겨보고 싶음

Gemini로 맡고 있는 유산의 RMD 계산 도움 받았는데 준비용으로는 쓸 만하고 조언 쪽은 별로였음. 미국이랑 캘리포니아 원천징수는 틀렸고 미국 공제도 놓쳤음

QuickBooks도 좀 배웠으면 좋겠음. 거래 1700건 내려받아서 AI로 분석 앱 만들었더니 하루 걸리던 작업이 한 시간 안에 끝남

Grok Bot한테 은행 명세랑 이메일 주면서 물어봤더니 주식 손실 상계해서 300달러 돌려받는 방법 알려주더라. 혼자선 엄두도 못 냈을 일임

세무사 규제 법안이 의회에 올라와 있는데 AI는 아마 안 다룰 거임. IRS 14157 양식으로 준비자 컴플레인은 넣을 수 있어도 AI는 항목이 없음

가중치만 평가하는 벤치마크라 별로 쓸모없어 보임