은하대백과 생각하는 컴퓨터 설계
은하대백과 멜트다운에서 언급했듯 집필에 AI를 사용하는 것은 각 은하주의 선택이지 편찬자로서 강제할 사항은 아니다. 때문에, 편찬자는 집필에서의 AI보다 사색에서의 AI를 논해야 한다. 기존의 편찬자는 질답 수준에서 AI를 활용한다. 은하대백과는 대상체의 지식을 담아내는 것뿐만 아니라 새로운 연결고리를 발견하여 유의미한 추론을 하는 시스템이다. 대상체의 문서와 기록들에 기반하여 쉬지 않고 새로운 접근법을 모색해 문서 간의 합의, 근거, 모순을 망라하는 새로운 접근을 발견한다.
RAG
현재 AI는 이해 계층은 커버하지만 추론 계층에서는 중대한 문제가 있다. 표준 RAG 시스템을 과학적으로 엄밀하게 분석한다면, 진정한 과학적 발견을 하지 못한다.
- 양적 편향. RAG는 기반 데이터 검색 결과의 숫자를 본다. X가 효과가 좋다는 기존 연구 100개와 사실 X는 플라시보였다는 혁신적인 최근 연구 1개가 있다면 RAG는 X가 효과가 좋다고 결론을 내린다.
- 관계 부재. RAG는 여러 발췌문을 불러오지만 발췌문 간 관계는 이해하지 못한다. X가 효과가 좋다는 기존 연구 A와 사실 X는 플라시보였다는 반박 연구 B가 있다면, RAG는 이 사이의 관계를 모를 뿐더러, 전문이 아닌 발췌문이기에, A가 B에 대한 반박인지 B가 A에 대한 반박인지 헷갈려 한다.
- 출처 불명. RAG는 발췌문들의 출처를 명확하게 연결 짓는 것에 약하다. B라는 논문에서 "X가 효과있다고 A가 그랬는데..."라고 언급했을 때 발췌문이 "X가 효과있다고..."에서 잘린다면 RAG는 "B가, 'X가 효과 있다'고 언급했다"고 이해하게 된다.
RAG는 근거의 품질을 수량으로 대체하고, 발췌문 간의 논증 관계를 모델링하지 못하며, 인용을 잘라먹은 상태로 재서술한다. 그래서 지식의 회수는 되지만 지식의 갱신 (반박에 의한 재정렬)과 지식의 합성(조건, 범위, 전제의 정합)이 약하다.
변증법적 그래프 모델?
오랜 기간 연구되어 온 Knowledge Graph (KG) 또는 Knowledge Network는 이 문제를 부분적으로 해결한다. KG는 이를 극복하기 위해서는 얼마나 비슷한가가 아니라 어떤 관계인가를 묻는 시스템으로 전환한다. 특히 멜트다운의 핵심인 다수에 의한 진실 오염을 막기 위해, 시스템은 합의가 아닌 모순과 반례를 최우선으로 탐색한다. KG는 주로 변증법적 그래프(Dialectical Graph) 모델을 지향한다. 변증법적 그래프는 문서의 내용을 그대로 저장하는 것이 아니라, 문서가 수행하는 논증 행위를 추출하여 저장한다. 여기서 핵심은 텍스트를 지식으로 착각하지 않는 것이다. 텍스트는 증거의 포장이고, 지식은 주장, 전제, 범위, 반례, 반박, 재반박, 정의, 측정, 방법, 데이터...가 서로를 제약하는 구조다.
은하대백과가 지향해야 할 첫 번째 분리는 원문-주장-관계의 삼중 분리다. 원문은 인용 가능한 구절로 보존되고, 주장은 정규화된 명제 형태로 분해되어 생성되며 관계는 주장들 사이의 논증적 결속으로 표현된다. 표준 RAG가 발췌문을 모아놓고 문장으로 봉합하는 방식이라면, 변증법적 그래프는 발췌문을 증거 노드로 격리하고 그 위에 주장 노드와 관계 엣지를 세워 출처, 의미, 역할을 분리한다. 발췌문이 잘리면 의미가 변한다는 문제는 애초에 발췌문을 주장으로 취급하지 않음으로써 구조적으로 차단된다.
No backlinks found.