ChatGPT는 흐릿한 이미지이지만 필요합니다
Blurry JPEG은 SF계의 거장 테드 창이 작성한 훌륭한 글입니다. 테드 창은 ChatGPT와 같은 대규모 언어 모델(LLM)을 흐릿한 JPEG 이미지로 흥미롭게 비유합니다. 테드 창은 LLM은 "주제에 대한 피상적인 이해만 제공하며 궁극적으로 진정한 지식 추구를 방해할 것"이라 주장합니다.
저는 이 글의 결론에 반대합니다. 흐릿한 이미지도 다른 면에서 장점이 있습니다. 때로는 필수적입니다. 현실 세계에서 데이터를 처리하는 것은 시간이 많이 걸립니다. 때때로 더 빠른 이해와 진행을 촉진하기 위해 덜 세밀하지만 더 효율적인 표현이 필요합니다.
생각해보면, 궁극적으로 학습이란 것은 컴퓨터가 데이터 스토리지에서 정보를 검색하는 것처럼 세상에서 데이터를 가져오는 과정입니다. 그렇다면 어느 저장 매체에서 정보를 가져오는 속도 또한 학습에 엄청난 영향을 줍니다. 예전에 CPU의 달력 스케일을 시각화하는 흥미로운 사고 실험을 한 적이 있는데요. CPU 한 사이클에 CPU 기준 1초가 걸린다고 상상해 봅시다. (4조 배 느린 것입니다.) 그렇다면 일상적인 컴퓨터 작업들은 얼마나 시간이 걸릴까요?
액션 | 물리적 시간 | CPU 시간 |
---|---|---|
1 CPU 주기 | 0.25ns | 1초 |
L1 캐시 참조 | 1ns | 4초 |
L2 캐시 참조 | 4ns | 16초 |
메인 메모리 참조 | 100ns | 6.67분 |
메모리에서 1MB 읽기 | 3μs | 3.33시간 |
SSD 랜덤 읽기 | 16μs | 17.78시간 |
SSD에서 1MB 읽 기 | 49μs | 2.27일 |
디스크에서 1MB 읽기 | 825μs | 38.20 일 |
디스크 검색 | 2ms | 92.60일 |
SCSI 명령 시간 초과 | 30초 | 3,802년 |
하드웨어 가상화 재부팅 | 40초 | 5,070년 |
물리적 시스템 재부팅 시간 | 5분 | 38,026년 |
이 가상의 CPU 달력에 따르면, CPU가 디스크에서 1MB를 읽는 데는 무려 38일이 걸립니다. 생각해보면 1MB는 엄청나게 많은 텍스트입니다. 사람이 1MB에 달하는 텍스트를 공부하려 한다면 비슷한 시간이 걸리겠지요.
또한, 디스크 탐색 시간은 92일에 달하는데, 이는 실제 연구자들이 복잡한 주제나 개념을 조사, 분석, 이해하는 데 소요되는 시간과 매우 유사합니다. CPU의 데이터 처리와 인간의 학습 사이의 이러한 유사성은 기술과 인간의 지식 추구가 놀랍도록 유사하다는 것을 강조합니다. 결국 뇌는 다양한 매체에서 정보를 가져오는 CPU에 지나지 않습니다.
이제 우리가 CPU이고 130.8MB의 이미지(제임스 웹 우주망원경 사진의 공개 버전)를 가져와야 하는 시나리오를 생각해봅시다. 이렇게 큰 이미지를 가져오는 데는 처리하는 데 거의 CPU 시간으로 14년이 소요됩니다. 하지만 위 이미지는 같은 사진을 2.5MB 선으로 압축한 겁니다. CPU가 학교 한 학기 정도면 다 공부할 수 있는 시간입니다. "흐릿한 JPEG"