Zerodha가 SQLite 위에 만든 분산 blob 저장소, 복제와 장애 대응 설명 부족 논란
원문을 읽지 못해 Hacker News 토론으로 요약했습니다
- 댓글에 따르면 Redis 프로토콜이 네트워크 인터페이스로 쓰여서 원격 접근 문제에 대한 답으로 언급됨
- 댓글이 인용한 글의 내용에 따르면 SQLite 파일은 행을 삭제해도 크기가 줄지 않음
- 댓글 작성자들은 글과 GitHub 페이지 어디에도 복제(replication)와 백업 설명이 없다고 지적함
- 댓글에 따르면 OpenStack Swift는 계정마다 SQLite DB 하나를 쓰고 컨테이너가 100만 개 객체를 넘으면 샤딩함
Hacker News 의견들
사용자마다 DB 하나 두는 구조면 그냥 SQLite로도 충분하지 않음?
글에 trading이랑 50% writes라고 나와서 보니까 대부분 쓰기는 실시간 시장 데이터에서 나오는 것 같음. 사용자별이 아니라 공유 데이터일 듯.
글이랑 GitHub 어디에도 replication이라는 말이 없던데 장애 나면 어떻게 되는 거임?
GitHub 백업이 cp로 되어 있던데 운영에선 파일시스템 스냅샷이나 Litestream 쓰겠지. Litestream이면 litestream sync -wait로 원격 복제 끝날 때까지 기다릴 수 있음.
JSON을 SQL 스키마로 바꾸는 대목에서 LLM이 DB 스키마를 즉석에서 고친다는 거임? 느리고 오류 날 것 같은데.
파일로 저장하면 안 됨?
수백만 개 작은 파일이면 파일시스템이 SQLite보다 훨씬 느림. 글에서도 이거 고려했다고 나옴.
NFS처럼 네트워크로 SQLite 접근이 안 되는 한계를 이걸로 해결함?
글 제대로 읽어봄? 네트워크 인터페이스가 Redis 프로토콜임.
나도 SQLite로 이거 몇 년 붙잡고 있었는데 결국 안 되더라. 트랜잭션 커밋 오버헤드가 너무 커서 배칭 없이는 경쟁력이 없음. 그래서 possum이라는 걸 만들었음.
DB 커밋은 fsync 때문에 원래 느림. SSD에서 대략 1000 IOPS 정도라 배칭만이 답임. SQLite는 오버헤드가 커서 RocksDB나 LMDB가 더 나을 듯.
메타데이터를 왜 굳이 SQLite로 함? 트랜잭션 되는 키-값 저장소면 RocksDB가 처리량이랑 지연 시간에서 낫지.
이 케이스는 ClickHouse가 딱 맞을 것 같음. 비동기 insert랑 압축, TTL이 기본으로 되니까.
OpenStack Swift도 메타데이터를 SQLite로 관리하는데 성능은 별로임. 확장성은 Ceph가 훨씬 낫더라.