DuckDB 2.0.0 LTS 출시, Quack 서버 모드와 비동기 I/O 추가
- DuckDB 2.0.0 LTS가 출시됨, 1.5 이후 약 2만 커밋이 반영된 기능 중심 릴리스임
- Quack 프로토콜이 정식 버전으로 다듬어졌고, 새 CONNECT 문으로 원격 데이터베이스에 한 줄로 붙어 전환할 수 있음
- 기본 설정상 서버는 localhost에만 열리며 외부 접속은 TLS 리버스 프록시를 두는 방식을 권장함, allow_other_hostname 옵션은 테스트용임
- Parquet와 CSV 읽기에 비동기 I/O가 도입됐고, PostgreSQL과 MySQL 원격 쿼리는 원격 pushdown 옵티마이저로 서버에서 직접 실행됨
Hacker News 의견들
진짜 대단한 소프트웨어임. 분석 엔진으로만 쓰는 줄 알았는데 데이터 수집이랑 가공용으로도 엄청 유연함.
EC2에서 돌려봤는데 2.0은 코어 많은 머신에서 확실히 빠르더라. S3 읽기만 빨라진 게 아니라 계산 자체도 빨라짐. 전엔 64 vCPU 근처에서 막혔는데 128, 192 vCPU까지 CPU가 거의 100%로 올라감. 그 덕에 Splink로 10억 레코드를 10분에 처리함.
192 vCPU를 실제로 꽉 채워서 쓰는 작업이 뭐임? 계속 100%인지 작업마다 잠깐 튀는 건지 궁금함.
클라이언트-서버 구조가 된 게 진짜 판도 바꿀 것 같음. 서버 여러 대에 CPU랑 RAM 많이 얹어 쓰던 데이터 스택 상당수를 대체할 듯.
지갑 발견 기능 쪽에 쓰고 있는데 정말 대단한 소프트웨어임.