신뢰의 재구성 ― AI 생성물을 효과적으로 검증하는 법

신뢰의 재구성 ― AI 생성물을 효과적으로 검증하는 법

 

2023년, 뉴욕의 한 변호사가 자신이 맡은 항공사 상대 소송에서 챗봇이 만들어 준 판례 여섯 건을 법원에 제출했다. 담당 판사는 그 판례들이 존재하지 않는 허위 판결이며, 인용문과 내부 인용까지 모두 날조된 것이라고 지적했다. 더 놀라운 대목은, 변호사가 챗봇에게 "이 판례가 진짜냐"고 되묻자 도구가 진짜라고 확언했다는 사실이다. 이 사건은 하나의 해프닝으로 끝나지 않았다. 프랑스 HEC 파리의 연구자 다미앙 샤를로탱이 관리하는 데이터베이스에 따르면, 법원이 AI가 만들어 낸 허위 인용을 문제 삼은 사례는 전 세계적으로 1,400건을 넘어섰고, 2026년 5월에는 미국 오리건주에서 두 변호사가 조작된 인용 스물세 건을 제출한 대가로 11만 달러의 제재를 받았다. 전문가 집단조차 이렇게 무너지는 이유는 분명하다. AI 생성물은 검증하지 않으면 위험하며, 그 검증은 결코 자동으로 이루어지지 않는다.

 

문제의 본질은 AI의 오류가 오류처럼 보이지 않는다는 데 있다. 환각은 대개 올바른 형식을 갖추고, 그럴듯한 세부를 동반하며, 한 치의 망설임 없는 확신에 찬 어조로 제시된다. 존재하지 않는 판례도 정확한 인용 규칙을 따르고, 지어낸 통계도 소수점까지 정연하다. 지친 검토자가 밤늦게 훑어볼 때 이런 문장은 정답과 똑같은 얼굴로 스쳐 지나간다. 흔히 대안으로 거론되는 검색증강생성(RAG)조차 이 문제를 완전히 해소하지 못한다. 외부 문서에 답을 묶어 두더라도 모델은 그 문서를 오독하거나, 과잉 일반화하거나, 없는 내용을 덧붙일 수 있기 때문이다. 특히 경계해야 할 함정은 AI에게 스스로의 검증을 맡기는 것이다. 앞선 변호사의 사례가 보여 주듯, 모델은 자신이 지어낸 허위를 다시 확신으로 재확인한다. AI가 만든 것은 AI로 검증할 수 없다는 원칙은, 그래서 검증의 출발점이 된다.

AI활용

반응형

가장 강력한 검증은 생성물을 원 출처와 직접 대조하는 것이다. 스탠퍼드 역사교육연구소의 샘 와인버그와 세라 맥그루가 2017년에 수행한 유명한 실험은 이 대조의 기술을 선명하게 드러낸다. 연구진은 전문 팩트체커, 역사학 박사, 명문대 학부생에게 낯선 웹사이트의 신뢰도를 평가하게 했다. 학부생과 역사학자 다수가 해당 페이지 안에 머물며 수직으로 읽어 내려가다 겉모습에 속은 반면, 팩트체커들은 페이지를 재빨리 벗어나 새 탭을 열고 다른 출처에서 그 사이트의 정체를 확인하는 '수평적 읽기'를 실천했다. 그 결과 팩트체커들은 훨씬 짧은 시간에 더 정확한 판단에 도달했다. AI 생성물의 검증도 다르지 않다. 인용, 수치, 고유명사, 날짜는 모델의 문장 안에 머물러 확인해서는 안 되며, 반드시 1차 출처로 나가 대조해야 한다. 그럴듯함은 신뢰의 근거가 아니라 검증을 시작해야 한다는 신호다.

 

둘째 원칙은 독립적인 교차 검증이다. 같은 모델에 같은 질문을 되풀이하는 것은 검증이 아니라 반복일 뿐이다. 서로 무관한 출처, 다른 도구, 사람의 판단이 교차할 때 비로소 오류가 드러난다. 학계가 개발해 온 검증 기법들도 같은 방향을 가리킨다. 민 등이 제안한 팩트스코어는 긴 텍스트를 더 이상 쪼갤 수 없는 사실 단위로 분해해 각각의 진위를 따지고, 둘리아왈라 등이 제시한 '검증의 사슬'은 초안을 만든 뒤 스스로 확인 질문을 던져 다단계로 점검하며, 최근의 구간 단위 검증은 생성된 각 주장을 근거 문서와 일일이 맞대어 본다. 이들이 공유하는 통찰은 하나다. 문장 뭉치를 뭉뚱그려 '맞는 것 같다'고 판단하지 말고, 개별 주장 단위로 잘게 나누어 확인하라는 것이다. 절반이 참이고 절반이 거짓인 문단은 전체를 훑는 눈에는 참으로 보이기 때문이다.

 

셋째로, 검증의 최종 책임은 언제나 사람에게 있다. 앨라배마 연방법원은 AI가 삽입한 허위 인용을 다룬 판결에서, 서명한 변호사는 그 문서에 담긴 모든 진술에 책임을 진다고 못 박았다. 오류를 만든 것이 부하 직원이든 도구든, 서명이 있는 한 변명은 통하지 않는다는 것이다. 캘리포니아의 한 변호사는 출력물을 읽어 보지도 않고 제출했다가 인용 스물세 건 중 스물한 건이 날조로 드러나 제재를 받았다. 흥미롭게도 이 문제에 대해 최신 챗봇 스스로가 내놓은 답은, 정확성이 중요한 상황에서 검증과 인간의 감독은 타협의 대상이 아니라는 것이었다. AI는 초안을 만드는 도구로서 탁월하지만, 그 결과물을 세상에 내보내는 판단의 주체는 사람이어야 한다. 도구에 판단을 위임하는 순간, 책임만이 아니라 신뢰 자체가 무너진다.

 

다만 모든 출력을 같은 강도로 검증할 필요는 없다. 현실적인 검증은 위험의 크기에 비례해 강도를 조절하는 차등적 접근이다. 법률 서면, 의료 판단, 재무 수치, 공개 발표처럼 오류의 대가가 큰 영역에서는 개별 주장 단위의 철저한 대조가 필요하고, 사소한 초안이나 아이디어 정리에는 가벼운 확인으로 충분하다. 이때 경고문 한 줄로는 부족하다는 점을 기억해야 한다. 보스턴대학의 한 실험에서 챗봇이 출처 요약에 부정확하다는 경고를 받은 참가자들은 실제로 그 부분을 더 검증했지만, 같은 사람들도 수학 문제에서는 여전히 검증을 게을리했다. 경고는 주의를 환기할 뿐, 검증을 습관으로 정착시키지는 못한다. 결국 필요한 것은 개인의 각성이 아니라, 어떤 출력이 어떤 절차를 거쳐야 하는지를 정해 둔 조직의 프로세스다.

 

종합하면, AI 생성물의 검증은 정교한 기술이라기보다 몸에 밴 규율이자 새로운 문해력에 가깝다. 원 출처로 나가 대조하고, 독립된 근거로 교차 확인하며, 주장을 잘게 나누어 따지고, 최종 판단의 책임을 사람이 지고, 위험의 크기에 맞춰 검증의 강도를 조절하는 것 ― 이 다섯 가지 태도는 특별한 도구 없이도 지금 당장 실천할 수 있다. AI가 유능해질수록 그 문장은 더 매끄럽고 더 그럴듯해지며, 따라서 검증의 필요는 줄기는커녕 오히려 커진다. "확인하라"는 오래된 원칙이 이토록 새롭게 절실해진 시대는 없었다. 신뢰는 도구가 주는 것이 아니라 사용자가 재구성하는 것이다.