Postgres 19에 REPACK 기능이 내장돼 테이블 블로트 정리가 코어에서 가능해짐
Summarized from the Hacker News discussion because the article couldn't be read
- 댓글 작성자들에 따르면 Postgres 19에서 REPACK CONCURRENTLY가 코어 기능으로 들어와 pg_repack, pg_squeeze 같은 외부 확장을 따로 설치할 필요가 없어짐
- 댓글에 따르면 이 기능은 아직 파티션 테이블을 지원하지 않아 대규모 DB 운영에서는 제약이 됨
- 한 댓글 작성자는 테이블이 교체되는 동안 MVCC 일관성이 깨져 쿼리가 빈 결과를 반환할 수 있다고 지적함
- 댓글에 따르면 Postgres 19에는 플랜 힌트 기능도 추가됐지만 주석 형식이 아니라 SET 명령으로 설정해야 해서 쿼리마다 왕복 지연이 생김
Hacker News opinions
나는 확장을 안 써봤는데, pg_repack처럼 트리거로 붙이는 것보다 pg_squeeze처럼 내부를 직접 들여다보는 방식이 더 마음에 듦. 우리도 SpiceDB 하면서 pg_xact를 후킹해서 strict serializability를 구현했음. 확장 없이 내부만 읽으면 관리형 Postgres에서도 돌아가서 이식성이 좋더라.
예전에 연말에 로컬 PC에서 수 TB짜리 프로덕션 DB를 repack 돌렸다가 몇 시간 기다리다 연결이 끊겨서 처음부터 다시 함. 그때 완전 최악이었음. 그래서 코어에 들어갔다니 진짜 반가움.
그 경험은 블로그 글 하나로 써도 될 정도임. pg_repack이랑 pg_squeeze는 쓰기 어려운 고급 툴이었는데, 이제 코어에 들어와서 다행이고 19에서 빠지지 않은 것도 좋음.
긴 작업은 screen 세션 안에서 돌리면 됨. 연결이 끊겨도 작업은 계속 돌고, 나중에 screen -R 이름으로 다시 붙으면 됨.
끊길까 봐 조마조마하면서 큰 DB에 무거운 작업을 원격으로 돌리는 게 문제임. 같은 머신이나 최소한 같은 LAN에서 돌려야 함.
동시성 쪽 MVCC 일관성이 깨지는 건 꽤 큰 단점 아닌가? 쿼리가 가끔 아무것도 안 돌려주는 일이 생기면 원인 찾기 진짜 힘들 것 같음.
그러게, 테이블이 바뀌었으면 Postgres가 감지해서 영향받는 트랜잭션에 serialization failure를 내면 되지 않나? 그걸 왜 안 하는지 모르겠음.
트레이딩 DB에서 시간당 수백만 개 dead tuple 나던 시절에 REPACK CONCURRENTLY 있었으면 진짜 좋았을 텐데, 파티션을 아직 지원 안 해서 아쉬움. 그래도 HOT 덕분에 dead tuple이 거의 안 생겨서 버티는 중임.
플랜 힌트가 들어간 건 좋은데 주석 방식이 아니라 SET 명령으로 줘야 해서, 쿼리마다 왕복 지연이 생기는 게 문제임. 그래서 배칭이나 파이프라이닝으로 우회해야 함.
SET은 대부분 클라이언트 쪽에서 처리되는 거 아니었나? 인코딩 설정 같은 건 왕복이 없던 것 같은데.
SET이랑 실제 SQL을 세미콜론으로 이어서 한 문자열로 보내면 왕복이 추가로 생기지 않음. 그리고 pg_stash_advice 확장으로 플랜 어드바이스를 저장해두면 SET 없이도 적용 가능해서 소스 못 고치는 쿼리에도 씀.
주석이랑 문법은 다른 거임. 플랜 힌트는 문법이 있는 건데, 그걸 주석 안에 넣으면 나중에 엄청 꼬일 수 있음.
플랜 힌트는 어디까지나 임시방편이라고 생각함. 서브쿼리를 4행으로 잘못 추정해서 nested loop 고른 걸 4백만 행인데도 그대로 밀고 가는 게 제일 짜증남. 통계가 워낙 손실 압축이라 한계가 있는 건 어쩔 수 없고.