CMU 교수 Andy Pavlo, ClickHouse 합류해 신설 연구조직 ClickHouse Labs 이끈다

Andy 강의 시리즈 좋아했는데 ClickHouse에서 스폰서 형태로 계속 이어졌으면 좋겠다.

계속됨. 다음달부터 새 세미나 시리즈 시작하고 이번주에 발표 나올거임.

ClickHouse Labs라는게 결국 엔지니어들이 자기네 db 제품 연구하는거 아님? 그냥 db 회사에서 엔지니어로 일하는거처럼 들리는데.

딥테크 분야는 학계랑 관계가 좀 복잡함. 몇년 걸리거나 수천만달러 필요한 아이디어 테스트할 명분이 필요한데 '연구' 조직이 바로 그 명분임. 근데 이게 회사 나머지 부분의 혁신을 죽일 수도 있음.

'연구랩'이 뭘 의미한다고 생각하는거임? 글에서 언급했듯이 IBM Research(Almaden)랑 Microsoft Research를 참고 모델로 보고 있음.

db 회사들 연구랩 많이 있음. 제품에 절대 안 들어갈 수도 있는 아이디어나 특이한 개념들 탐구하게 해줌. 프론티어 기술 유지하려면 필수임.

학계(대학)가 이런 고임팩트 리서치를 더이상 잘 지원 못하는게 좀 씁쓸함.

무슨 소리임? db 관련 고임팩트 연구 학계에서 많이 나오고 있음(Andy 본인 CMU 그룹 포함). 그리고 인용한 부분은 마케팅 문구가 좀 섞인거임.

C++로 쓰여있다는게 '기능'이라는건 좀 이상한 논리 아님? 성능이 기능이지 언어가 기능은 아니잖음.

zero cost abstraction이 C++의 기능 중 하나임. 그 언어를 잘 몰라서 그렇게 느끼는거임.

OLAP 제품들(StarRocks, ClickHouse)이 Trino랑 어떻게 수렴할지 궁금함. 다들 컴퓨트/스토리지 분리하고 S3 쓰는 쪽으로 가는데 그러면 colocated join은 포기하는거고, 인제스천이랑 인덱싱은 어떻게 되는거임? Iceberg V3? Paimon?

ClickHouse join은 몇년간 매달 개선되고 있음. 아직 별로일 수도 있지만 예전보다 훨씬 나아졌음.

ClickHouse/StarRocks가 이제 Iceberg같은 네이티브 아닌 포맷 위에서도 쿼리 플래너/실행기 역할을 함. Trino를 별도 실행기로 쓸 필요가 거의 없어지는 느낌임.

오픈포맷 호환은 하지만 네이티브가 항상 더 우선될거임. 자기 엔진에 최적화해서 포크하고 싶은 유혹이 항상 있을거라서 완전히 네이티브 스토리지 차별화가 사라지진 않을듯.

ClickHouse가 학계 db 연구 펀딩도 좀 해줬으면 좋겠음. AI에 돈 다 쏠리고 정부 지원도 엉망이라 db 연구에 남는 돈이 거의 없음.