프랜시스 바흐, 로그-합-지수 분산 폭발 문제에 최소제곱 적용: 최대우도 추정의 폐형 계산 제안
- 샘플 평균으로 를 추정할 때 상대 제곱오차는 으로 가 커지면 지수적으로 폭발함. 로그를 씌워도 분산은 비슷하게 자람
- 프랜시스 바흐(Francis Bach) 블로그 글이 log-sum-exp 함수 최적화의 계산·통계적 단점을 줄이면서 장점을 유지하는 문제를 다룸
- 저자는 선형 모델에서 폐형 해와 고정 분산의 모먼트 계산을 주는 최소제곱 회귀를 최대우도 문제(로지스틱, 소프트맥스 회귀)의 폐형 추정량으로 만드는 방향을 제안함
- 글의 요약식인 적분 항등식 가 이 전환의 핵심 도구임
- 테스트 문제로 두 분포 , 에 대한 상대 밀도 추정을 선택하고 변분식으로 이 추정이 KL 발산 추정과 같다고 설명함