중국 학생 2만7000명 추적 연구: AI 사용자는 과제 점수 18% 올랐지만 시험은 20% 낮아짐

과제는 결과물보다 푸는 과정이 학습임. AI가 개념을 설명하고 수준에 맞춰 질문하게 만들 수는 있지만, 답을 대신 쓰지 못하게 하는 제약이 필요함.

AI로 과제를 하면 더 빨리 끝내고 점수도 높아지지만, 시험에서는 그대로 무너지는 구조임.

AI를 쓴 학생 중 비AI 고성과자만큼 공부한 집단은 시험 성적도 비슷하거나 조금 높았다고 봄. AI가 좋은 습관과 나쁜 습관을 모두 증폭한다고 생각함.

나도 같은 생각임. 똑똑한 사람은 더 똑똑해지고, 공부를 안 하는 사람은 더 안 하게 됨.

그 해석은 표본을 너무 좋게 본 것 같음. 연구에서 과제를 LLM에 외주 준 것으로 분류된 AI 사용자가 81%였고, 조금 높았다는 집단은 맥락별 4명에서 20명뿐이라 통계적으로 유의하지 않았다는 지적이 있음.

중국 연구라는 점은 알지만, 누가 늘 AI에 의존하는지도 봐야 함. 특히 미국은 교과서와 기기 예산, 교육과정 수준, 교사 보상 방식이 달라서 '책임 있는 사용'이 학생마다 전혀 다르게 작동함.

교실 기술 사용과 학습 성과 악화 사이에는 이미 상관관계가 있다고 봄.

직장에서 과제는 많이 받고 시험은 거의 안 봄. AI로 과제를 잘 처리하는 편이 더 현실적인 능력 아닐까.

직장은 계속되는 시험임. 회의에서 생각을 즉석에서 정리하지 못하고 매번 Claude를 찾아야 하면 곤란함.

시험은 중요한 대상 자체가 아니라 그 능력을 측정하려는 실험임. 그래서 직장에서도 그 능력은 여전히 필요함.

내 고객은 도구를 능숙하게 쓰는 바탕인 즉각적인 지식의 깊이를 평가함. 학교 때는 과제보다 시험이 그걸 더 잘 드러냈음.

LLM의 출력, 코드, 추론을 검토하는 일도 시험임. 그냥 그대로 넘기면 결국 다른 사람이 수습해야 함.

12세에서 18세는 반복 문제풀이로 추론과 직관을 만들어야 함. AI가 복리 계산을 해줄 수 있어도, 학생이 분수와 지수성장을 이해해서 무엇을 물어야 하는지 알아야 함.

AI가 보편화해도 이 연령대가 계속 AI에 맡기면 이해가 줄어듦. 아주 의욕적인 일부는 괜찮겠지만, 인구 전체로 보면 영향이 커질 것임.