수학자 Thom, OpenAI의 비공개 수학 대화 데이터 처리 설명에 신뢰 문제 제기

주장은 너무 약함. 누군가가 어느 시점에 AI와 그 주제를 논의했다는 것뿐이고, 증명까지 갖고 있었다는 주장도 아님.

AI가 완전히 독자적으로 찾은 것과 관련 정보를 이어 마지막 연결고리를 만든 것은 다름. 주장 전체가 사실이 아닐 수도 있지만 일부라도 맞으면 OpenAI의 주장도 과장된 셈임.

이런 문제는 극도로 전문적이라 관련 아이디어를 아는 사람이 몇 명뿐이고 문헌에도 없을 수 있음. 그 기법을 논의한 채팅 뒤에 AI가 그 기법을 쓰면 의심할 만함.

'작업 중이었다'고만 말할 일은 아님. 이들은 Euler와 hypoviscous 경우를 같은 기법으로 풀었고, 그 기법은 완전한 Navier-Stokes에도 통했음.

공로 문제를 빼면 인간과 AI의 협업이 발견 속도를 크게 올리는 모습으로 보임.

발견 자체는 목적이 아님. 연구소는 수학자가 평생 만져볼 돈보다 큰 비용을 능력 시연에 쓰고, 그 결과가 수학에 쓸모 있는지는 별로 신경 쓰지 않는 듯함.

내 눈에는 엄청난 조합을, 대부분 황당한 조합까지, 훑어 명제를 증명하는 수학 엔진에 가까움. Navier-Stokes 결과도 거의 답 근처에서 M 규모 연산으로 마지막까지 밀어붙인 것 같음.

혐의가 사실이면 협업은 오래 못 감. 연구자는 생계가 걸려 있는데 연구 주제마다 연구소에 선점당하면 경력을 유지할 방법이 없음.

요지는 6월 29일 학습 거부를 했고 OpenAI에 물었더니 '그런 일은 없었다'는 답을 받았지만, 지금은 비식별화된 사용 데이터가 모델 개선에 쓰였을 가능성을 배제 못 한다는 것임.

프런티어 기업이 동의와 무관하게 데이터를 학습에 쓴다고 계속 의심해 왔음. 대화 원문을 사전학습 데이터에 넣지 않아도 변환된 합성 데이터가 특정 대화에서 나왔다는 걸 어떻게 증명하겠음.

OpenAI는 '대화를 읽지 않았다'고 했을 뿐, 그 데이터로 모델을 학습하지 않았다고는 말하지 않았음. 오히려 더 나쁜 답변임.

문제는 공로보다 모델 능력을 실제보다 높게 포장하는 데 있음. Jensen Huang의 'AGI 달성' 같은 발언과 결합하면 이미 위험한 투자 열기를 부추김.

다만 이 수학자는 이 문제를 20년간 연구했음. 우연히 막 돌파 직전이었거나 Astra가 남은 5년, 10년, 혹은 더 긴 막힘을 뚫은 것인데, 어느 쪽이든 상당한 능력의 신호라고 봄.

소송이 많이 필요함. 지금 방식이면 누구나 떠오르는 생각을 LLM에 던져 놓고 나중에 비슷한 결과가 나오면 AI가 훔쳤다고 주장하는 이상한 유인이 생김.

클라우드 LLM에 연구 데이터를 넣는 건 큰 위험임. 제품이나 개발 흐름의 기반으로 삼으면 가격과 약관이 바뀌는 순간을 각오해야 함.

나는 GitHub에 날짜가 남도록 연구를 공개하고 있음. AI 연구소가 내 작업을 똑같이 재발견했다고 하면 학습이나 사용 여부를 따질 근거가 생김.

그 용도는 이미 arXiv가 해왔음. 공개 시점 기록은 동료 심사 전에도 우선권을 남기는 오래된 방법임.

그래도 도용 자체를 막지는 못하고, 나중에 다툴 때만 조금 쉬워짐. 프롬프트에도 워터마크가 있으면 좋겠음.

LLM에 말하는 모든 내용은 결국 학습 재료가 될 수 있다고 봄. 가장 새로운 생각이 흡수됐다가 AI의 창의성처럼 다시 나오는 게 무서운 부분임.