과학은 곧 오픈소스 소프트웨어라는 주장, 해커뉴스 댓글은 "동치가 아니다"라며 반박
- 블로거는 현대 (계산)과학이 오픈소스 소프트웨어와 동의어라고 주장함. 소프트웨어가 예측 모델을 인코딩하고 공유하는 수단이라는 게 근거임
- 위키피디아의 과학 정의(검증 가능한 가설과 예측을 체계적으로 쌓는 학문)를 끌어와, 재현되지 않는 아이디어는 확장될 수 없어 쓸모없다고 정리함
- Kenneth Craik의 inner model 개념을 인용해, 논문이 독자의 예측 능력을 개선하지 못하면 과학이 아니라고 봄
- 소프트웨어 버그가 실제로 여러 논문의 철회를 일으켰고(Retraction Watch 등), 결과가 소프트웨어에 의존하므로 소프트웨어가 틀리면 과학도 틀린다고 지적함
- 오픈소스가 충족하는 두 조건으로 재현 가능(실행과 수정이 가능)과 신뢰 가능(결과가 일관되게 믿을 만함)을 들고 Hugging Face 모델을 예로 듦
Hacker News opinions
그럼 닫힌 소스에 해당하는 건 뭐임? 과학에도 폐쇄형이 있냐는 얘기인데
오픈 소프트웨어가 과학이라는 주장이랑 과학이 소프트웨어라는 주장은 완전히 다른데. is가 동치가 아니잖아. 푸들은 개지만 개가 푸들은 아니듯이
과학은 열려 있지만 과학은 소프트웨어가 아니고 소프트웨어도 과학이 아님. 이건 좀 과한 비유임
글 읽어봤음? 글쓴이가 말하는 맥락을 보면 그렇게 단순한 동치 주장은 아님
재현성 얘기할 때 데이터 개방 문제도 빼먹으면 안 됨. 많은 연구자가 알짜 데이터를 안 놓으려 하고, 소프트웨어만 공개해도 데이터 없으면 쓸모가 없음. JOSS(joss.theoj.org) 같은 곳은 그래도 열린 연구를 밀어줌
물리나 수학에선 코드가 증명을 보여주는 좋은 수단이라고 봄. 정리를 골라서 코드로 돌려보고 출력이 기대값이랑 맞는지 확인하면 되니까. DeepMind 연구실도 흥미롭고, 최근 프런티어 모델이 진단 전에 질병을 예측하는 건 진짜 대단함
Nature 계열 저널은 데이터 가용성과 코드 심사 정책이 이미 있음. 그런데 scRNA-seq 파이프라인 재현하려고 해보면 실제로는 Github 링크 하나 달랑 있는 경우가 거의 없음. 연구자 코드 상태가 엉망인 걸 알긴 하는데, 그렇다고 공개가 쉬운 일은 아님
테크 쪽 사람들이 'open'이라는 단어 쓰는 걸 아예 금지해야 함. 뜻이 너무 흐려졌음
학계 인센티브가 전부 잘못돼 있음. 저품질 연구가 논문으로 보상받고, 시간 걸리는 고품질 연구는 p-hacking이나 선택적 결과 제시를 드러내니까 심사에서 막힘. 프라이버시 걱정한다면서 데이터를 안 놓는 건 대부분 변명이고, 식별자만 지우면 공개 가능한 데이터가 태반임. 이 글이 사는 세상이랑 실제 학계는 너무 다름