TypeSafe Jev의 confidence score는 보정도 비용 모델도 없는데, AI 실패는 "AI니까 어쩔 수 없어"로 넘기는 문화가 굳어진다
- TypeSafe AI가 내놓은 Jev는 확률 추정치를 함께 담은 타입 지정 값을 반환하는 모델로, 홍보에서 강조하는 건 주로 빠르고 저렴하다는 점임.
- 작가는 Jev가 제대로 동작하는지 확인하려면 결국 evals와 ground-truth 파이프라인을 직접 만들어야 하고, 그 시점이면 자체 파인튜닝까지 남은 게 별로 없다고 지적함.
- confidence score를 합리적으로 쓰려면 캘리브레이션 이해와 불확실성 비용 모델이 필요한데, TypeSafe 문서가 제시한 0.5의 '아무것도 안 함', 0.9의 '고위험 행동' 임계값은 예시에 불과하며 올바른 값은 도메인과 성능에 달렸다는 문구만 남아 있음.
- 구절은 President Curtis에서 열리지 않는 문에 대통령이 "stupid thing sucks"라고 중얼거리는 장면에 빗대, 막힌 문에 시체와 약 10억 달러 상당의 금이 있었다는 점을 든 뒤 문은 왜 막혔는지 설명해야 한다고 주장함.
- HTTP 500처럼 기존 실패에는 계약 파손 지점과 책임 주체가 있었으나, 불투명한 AI 응답의 실패는 사용자가 실패율 자체를 흡수하는 구조로 바뀐다고 요약함.
Hacker News opinions
반복 노출이 결국 재사용을 만든다는 건 식료품 매대 얘기 생각하면 쉬움. 실패해서 짜증났더라도 '이제 좀 알겠네' 하면서 다시 손대게 된다더라.
혹시 실패율을 일부러 올려도 사용자 유지에 도움이 되는 건 아니겠지? 그건 진짜 아니었으면 좋겠다.
이건 '무엇이든 다 하는 기계'를 만드는 순간 생기는 문제임. 확률을 계산의 기본으로 쓰면 무엇이 정상이고 무엇이 실패인지 계약으로 못 박을 수가 없어. 결정론이 예전부터 사랑받은 이유가 그 반복 가능성 때문이었지.
그럼 비결정론 기계가 요구사항을 결정론 기계로 번역하는 데 사람이 더 잘하게 되면 어떻게 되는 거냐?
소프트웨어 '엔지니어링'이 전통 엔지니어링에서 더 멀어지는 방식이지. 고장 모드 분석? 근본 원인 분석? 그냥 마법 상자에 대고 말 걸고 있음.
클라이언트만 'stupid thing sucks' 상태인 게 아님. GitHub이 5xx 뱉고 AWS 서비스가 죽고 메일이 안 갈 때 개발자도 아무것도 못 해.
GitHub이 책임지는 부분이 명확한 거라고 봐. 그 부분이 무러면 우리가 할 수 있는 건 아무것도 없음. 분산 시스템이 어제 나온 기술은 아니잖음.
'버그는 불가피하다'는 낙담이 소프트웨어에 너무 만연함. 버그는 선택임. 다리나 비행기 만드는 사람이 '붕괴와 추락은 어쩔 수 없지'라고 생각하면 안 되잖아.
글쓴이가 설명 불가한 실패가 '이제서야' 정상화됐다고 하는 게 좀 이상함. '껐다 켜봐'가 통하는 순간부터 업계는 그 상태였는데?
'빠르게 이동하고 부순다'가 그나마 새로운 거라면 20년 넘게 개발한 우리 세대 얘기지. CD로 굽고 나면 그걸로 끝이었어. 요즘은 설계 검토와 하위 호환성 고려가 확실히 줄어든 게 맞음.
최근 산 전기차도 시동 걸 때마다 'check EV system' 경고 뜨다가 딜러 가져가면 이미 사라짐. 정비사는 '가끔 그럼, 또 뜨면 오세요'라는데 하드웨어 불량인지 소프트웨어 버그인지 그 누구도 모르더라.
내 기아 니로 EV는 예약 출발로 AC가 켜질 때가 계기로 시동이 잠겨버리는 경우가 있음. 대략 15분 정도 풀릴 때까지 아무것도 못 해. 기아 답변도 그냥 어깨 으쓱이더라.
80~90년대 알기 싫은 오류 대화 상자에 대한 반발 때문에 조용히 실패하는 게 낫다고 여긴 부작용이라는 생각이 듦.
'check engine' 같은 모호한 경고 메시지는 진짜 짜증남. 요즘 차에 고해상도 대시보드가 다 있는데 왜 문제 전체를 못 보여주는 거야? 그대로 사진 찍어서 딜러에 보내면 바로 진단되잖아.