유창함은 이해가 아니다: 인공지능이 자연어처리를 완성하지 못하는 이유

유창함은 이해가 아니다: 인공지능이 자연어처리를 완성하지 못하는 이유

 

오늘날의 언어모델은 놀랄 만큼 유창한 문장을 만들어 낸다. 번역과 요약, 질의응답에서 사람과 구별하기 어려운 결과를 내놓는 일도 흔하다. 그러나 유창함과 이해는 같은 것이 아니다. 자연어처리가 아직 완벽하지 못하다는 진단은 성능이 조금 모자란다는 뜻이 아니라, 지금의 방식이 원리적으로 도달할 수 없는 지점이 있다는 뜻에 가깝다. 그 이유를 언어학과 학습이론, 그리고 최근의 실증 연구가 가리키는 네 갈래로 나누어 살펴본다.

 

첫째는 형태와 의미의 분리다. 벤더와 콜러는 2020년 전산언어학회(ACL) 논문에서 언어의 형태만을 학습한 시스템은 원리적으로 의미를 배울 수 없다고 주장했다. 의미란 언어 형태와 화자의 의사소통 의도 사이의 관계인데, 텍스트 코퍼스에는 형태와 그 분포만 남아 있을 뿐 의도와 세계는 남아 있지 않다는 것이다. 이들은 대규모 언어모델이 언어를 '이해'하거나 의미를 '포착'한다는 서술을 과장으로 규정하고, 진정한 진전을 위해서는 형태와 의미의 구분을 분명히 해야 한다고 지적했다. 모델이 '뜨겁다'라는 단어를 수억 번 읽어도 뜨거움을 겪은 적은 없다. 이 접지(grounding)의 부재는 데이터를 더 넣는다고 메워지는 종류의 결핍이 아니다.

 

둘째는 중의성이다. 중의성은 자연어의 결함이 아니라 본래적 속성이며, 사람은 오해를 예상하고 해석을 수정해 가며 대화한다. 리우 등은 2023년 EMNLP에서 언어학자가 주석한 1,645개 예문으로 구성된 AmbiEnt 벤치마크를 만들어 모델이 중의성을 인지하고 가능한 해석들을 분리해 낼 수 있는지 시험했다. 결과는 분명했다. 가장 성능이 좋았던 GPT-4조차 생성한 중의성 해소 문장이 사람 평가에서 32%만 정확하다고 판정되었고, 같은 기준에서 데이터셋 자체의 해소 문장은 90%의 동의를 얻었다. 모델은 흔히 중의적 문장을 다시 진술하며 맥락을 덧붙이는 우회 전략을 썼는데, 이는 어느 지점이 갈라지는지를 짚어내는 것과는 다르다. 사람의 언어 사용에서 가장 일상적인 국면에서 기계와 사람의 간극이 가장 크게 벌어진 셈이다.

AI활용

반응형

셋째는 추론의 취약성이다. 미르자데 등이 2024년 발표한 GSM-Symbolic 연구는 초등 수준 수학 문제의 상징적 템플릿을 만들어 같은 문제의 변형들을 생성했다. 이름이나 숫자만 바꾸어도 모든 모델의 성능이 떨어졌고, 절의 수가 늘어날수록 성능은 뚜렷하게 악화되었다. 결정적인 것은 답을 구하는 데 아무 기여도 하지 않지만 관련 있어 보이는 절 하나를 덧붙였을 때, 최신 모델들에서 최대 65%의 성능 하락이 나타났다는 점이다. 연구진은 이를 근거로 현재의 언어모델이 진정한 논리적 추론을 수행하는 것이 아니라 학습 데이터에서 관찰한 추론 단계를 재현하고 있다고 보았다. 물론 이 해석에는 반론도 있으나, 표면적 변형에 성능이 흔들린다는 사실 자체는 여러 후속 연구에서 재확인되었다. 언어 이해가 표층 패턴의 정합에 상당 부분 의존한다면, 처음 보는 문장 앞에서의 붕괴는 예외가 아니라 예고된 결과다.

 

넷째는 환각의 불가피성이다. 쉬 등은 2024년 논문에서 계산 가능한 정답 함수와 계산 가능한 언어모델 사이의 불일치로 환각을 형식적으로 정의한 뒤, 학습이론의 결과를 이용해 언어모델이 모든 계산 가능한 함수를 학습할 수는 없으며 따라서 범용 문제 해결자로 쓰이는 한 환각은 제거될 수 없음을 보였다. 형식 세계보다 훨씬 복잡한 현실 세계에서는 더욱 그렇다는 것이 이들의 결론이다. 접근은 다르지만 칼라이 등이 2025년에 내놓은 분석도 방향은 같다. 이들은 환각을 신비한 오작동이 아니라 사전학습 단계에서 생기는 통계적 분류 오류로 설명하고, 나아가 대부분의 벤치마크가 '모른다'는 답을 불확실성 표현으로 인정하지 않고 오답과 똑같이 처벌하기 때문에 모델이 추측을 하도록 유인된다고 지적했다. 즉 환각은 이론적 하한과 평가 관행이라는 두 겹의 이유로 남는다.

 

여기에 데이터 분포의 편중이 겹친다. GPT-3 학습 토큰의 약 92.65%가 영어였고 나머지 모든 언어가 7.35%를 나눠 가졌다는 보고나, 29개 언어를 동일 문항으로 평가한 MMLU-ProX에서 고자원 언어와 저자원 언어 사이에 최대 24.3%포인트의 격차가 확인된 결과는 '자연어처리'라는 말이 실제로는 소수 언어에 대한 처리에 크게 기울어 있음을 보여 준다. 한국어처럼 중간 자원에 속하는 언어는 그 격차의 중간 어디쯤에 놓인다. 완벽함은 언어 일반에 대한 것이어야 하는데, 지금의 성취는 특정 분포에 대한 성취다.

 

이 네 가지는 서로 독립적이지 않다. 접지가 없으므로 의미는 분포로 근사되고, 분포로 근사되므로 중의성 앞에서 하나의 해석으로 미끄러지며, 표층 패턴에 의존하므로 사소한 변형에 무너지고, 정답을 보증할 수 없으므로 그럴듯한 문장을 채워 넣는다. 문제의 뿌리가 공학적 미완성이 아니라 방법 자체의 구조에 닿아 있다는 뜻이다. 그렇다고 해서 언어모델이 쓸모없다는 결론이 나오지는 않는다. 벤더와 콜러조차 대규모 언어모델이 결국 완전한 해법의 중요한 구성 요소가 될 수 있다고 인정했다. 다만 그것은 '거의 다 온 해법'은 아니다.

 

그러므로 지금 필요한 태도는 기다림이 아니라 설계다. 모델이 언제 무너지는지를 아는 사람이 검증 지점을 배치하고, 불확실성을 표현하는 답을 처벌하지 않도록 평가를 고쳐 쓰며, 접지가 필요한 판단은 사람과 현장에 남겨 두는 일이다. 완벽한 자연어처리가 곧 도래하리라는 기대보다, 완벽하지 않은 도구를 정확히 어디까지 신뢰할지 아는 능력이 훨씬 실용적이다. 언어는 세계와 사람 사이에서 태어났고, 세계와 사람을 거치지 않은 이해는 아직 이해가 아니다.