ChatGPT는 흐릿한 이미지이지만 필요합니다

Blurry JPEG은 SF계의 거장 테드 창이 쓴 훌륭한 글이다.

테드 창은 ChatGPT 같은 대규모 언어 모델(LLM)을 흐릿한 JPEG 이미지에 빗대는데, 이 비유가 꽤 재밌다.

그의 주장은 LLM이 "주제를 겉핥기로만 이해하게 만들고, 결국 진짜 지식을 쌓는 걸 방해한다"는 거다.

근데 나는 이 글의 결론에 반대한다.

흐릿한 이미지도 나름의 장점이 있다.

때로는 꼭 필요하기까지 하다.

현실 세계에서 데이터를 처리하는 데는 시간이 많이 든다.

그래서 가끔은 덜 세밀해도 더 효율적인 표현이 있어야 빨리 이해하고 빨리 나아갈 수 있다.

생각해 보면 학습이란 결국 컴퓨터가 저장 장치에서 정보를 꺼내 오듯 세상에서 데이터를 가져오는 과정이다.

그렇다면 어떤 저장 매체에서 정보를 꺼내 오느냐, 그 속도가 학습에 엄청난 영향을 준다.

예전에 CPU의 시간 감각을 달력으로 그려 보는 사고 실험을 해 본 적이 있다.

CPU 한 사이클이 CPU 기준으로 1초라고 해 보자. (실제보다 4조 배 느린 셈이다.)

그럼 일상적인 컴퓨터 작업들은 얼마나 걸릴까?

이 가상의 CPU 달력으로 보면, CPU가 디스크에서 1MB를 읽는 데 무려 38일이 걸린다.

근데 1MB면 텍스트로는 어마어마한 양이다.

사람이 1MB짜리 텍스트를 공부하려고 해도 아마 비슷하게 걸릴 거다.

디스크 탐색은 92일이나 걸리는데, 실제 연구자들이 복잡한 주제를 조사하고 분석하고 이해하는 데 드는 시간이랑 소름 돋을 만큼 비슷하다.

이제 우리가 CPU고, 130.8MB짜리 이미지(제임스 웹 우주망원경 사진의 공개본)를 가져와야 한다고 해 보자. 이렇게 큰 이미지를 가져와서 처리하는 데 CPU 시간으로 거의 14년이 걸린다. 근데 위 이미지는 같은 사진을 2.5MB 아래로 압축한 거다. 이 정도면 CPU가 학교 한 학기 정도에 다 공부할 수 있다. "흐릿한 JPEG"이긴 한데... 대부분은 차이를 알아채지도 못할 거다.

다시 ChatGPT로 돌아오자. '흐릿한 이미지'는 압축 때문에 품질이 떨어지지만, 크기가 훨씬 작고 디코딩이 수만 배 빠르다. ChatGPT도 마찬가지다. 정보의 품질이 종종 떨어지긴 하지만, 정확성만 조심하면 우리가 정보를 배우고 처리하는 방식을 완전히 바꿔 놓을 수 있다.

그러니까 흐릿한 JPEG을 최대한 써먹어야 한다. 인터넷 기업들이 정보를 압축해서 더 쉽게 닿게 만들고 매일같이 이미지를 압축하는 것처럼 말이다. 더 나은 압축 알고리즘을 만들려고 애쓰듯이, ChatGPT 같은 LLM도 더 발전시켜서 지식 압축을 더 효율적이고 싸게 만들어야 한다.

그렇다고 배움이 덜 중요해지는 건 아니다. LLM이 있는데 굳이 지식이 필요하냐고 묻는 사람이 많다. 교육이 필요한 이유는, 정보를 레지스터나 캐시처럼 머릿속에 넣어 두면 몇 달이나 몇 년이 아니라 몇 시간 만에 꺼내 쓸 수 있기 때문이다. LLM에 기대는 게 기존 학습 방식보다는 빠를지 몰라도, 머릿속에 외워 두고 처리하는 것에 비하면 여전히 한참 느리다. 그래서 LLM은 지식을 쌓는 데 쓸모 있는 도구가 될 수는 있지만, 사람이 타고난 배우고 이해하는 능력을 대신하는 게 아니라 거드는 역할을 해야 한다.