TMLR 편집장이 데스크 리젝 대상 논문 10편 저자를 직접 면담했더니, 기본 질문에 답한 저자는 1편뿐

동료 심사에 원래 문제가 많았다지만 LLM이 그럴듯한 논문을 쓰는 시대엔 저자가 자기 논문을 이해하는지가 새 문제임. 이름 있는 저널은 논문마다 구술시험을 붙여야 할지도 모르겠음.

진짜성과 신뢰에 프리미엄이 붙는 시대임. 10편 중 1편만 제대로 답했다는 건 대부분이 AI로 슬롭을 만들어 읽지도 않고 제출한다는 뜻 아님?

그건 분명히 벌어지고 있는데, 10년 전에 데스크 리젝 당하던 논문 저자들은 자기 논문 질문에 잘 답했을까? 그 비교가 있어야 이게 새 문제인지, AI가 그냥 나쁜 논문에 새 콘텐츠 공급원이 된 건지 알 수 있음.

심사 단계별로 비율이 어떻게 달라질지 궁금함. 이미 게재된 논문 중에서 저자가 기본 질문에 못 답하는 비율은 얼마나 될까.

greCAPTCHA 링크 깨져 있음. arXiv에 살아있는 링크 있더라. 2026년 6월에 과학 출판용 CAPTCHA를 제안한 사람도 있었는데 그때는 농담으로 봤음.

더 큰 문제는 논문의 가치가 추가한 지식이 아니라 연구 과정에서 참여자가 얻는 훈련에 있다는 점임. AI 논문은 그 과정을 통째로 건너뛰어버림. 학계가 논문을 성공의 화폐로 만든 것도 같이 책임이 있음.

반대임. 논문은 지식을 검증하는 수단으로 충분히 쓸 만함. LLM은 항상 지름길로 가는데 그럼 학계를 어떻게 고칠 건데.

학술 출판 바깥 사람인데, 업계가 AI 생성 여부를 어떻게 확인함? 이런 면담이 표준임? 아님. 근데 그래야 하는 거 아닌가. 대학원 논문 구술심사는 원래 표준이었고 나도 그때 내 주장을 변호하는 게 싫지 않았음.

나는 논문 몇 편밖에 안 써봤지만 이런 면담은 아주 이례적임. 윤리적으로 문제 될 짓을 했다면 편집장이 면담을 요청하는 순간 잡힌 거라고 생각했을 듯. 시간이 너무 많이 드니까 확산은 어려울 거임.

Medium 댓글들도 좋았음. 게재된 논문으로 같은 실험을 하면 대조군이 될 텐데, 미심쩍은 논문으로 심사자 시간을 몇 시간씩 날린 저자를 조용히 블랙리스트에 넣고 싶음. 근데 그런 리스트가 존재한다는 것 자체가 문제임.

그 블랙리스트는 실패함. 사람이든 에이전트든 새 저자 계정을 무리로 만들거나 돈 주고 사면 그만임.

저자가 기본 질문도 못 답하면 표절이랑 비슷함. AI로 쓰고 나서 스스로 깊이 읽었다면 사실 큰 문제는 아니고, 그 뒤에도 틀렸다면 사람이 나쁜 논문 쓴 거랑 똑같이 다루면 됨.

지니는 병에서 나왔음. 앞으로는 LLM으로 심사도 해야 함. 제출된 논문을 LLM으로 요약하고 약점과 장점을 뽑게 해서 사람이 그걸로 심사하는 방식임. LLM으로 쓰고 LLM으로 심사하는 학회를 한번 보고 싶음.