AI 할루시네이션, 무엇이 문제일까?

AI 할루시네이션, 무엇이 문제일까?

 

AI에게 질문하면 막힘없이 답이 돌아온다. 문장은 매끄럽고 말투는 확신에 차 있다. 그런데 그 답이 통째로 지어낸 것이라면 어떨까. 이것이 AI 할루시네이션이다. 우리말로는 ‘AI 환각’이라고도 부른다.

 

챗GPT를 만든 OpenAI는 할루시네이션을 ‘그럴듯하지만 사실이 아닌 진술’이라고 정의한다. 연구진이 직접 겪은 사례도 있다. 널리 쓰이는 챗봇에게 논문 저자 한 사람의 박사 학위 논문 제목을 물었더니, 세 번 모두 다른 제목을 자신 있게 내놓았다. 그중 맞는 답은 하나도 없었다.

 

AI 언어 모델은 방대한 글을 읽고 ‘다음에 올 가장 그럴듯한 단어’를 예측하도록 훈련된다. 맞춤법이나 문장 구조처럼 규칙이 뚜렷한 것은 잘 배운다. 하지만 특정인의 생일처럼 자료에 드물게 나오는 사실은 패턴만으로 맞힐 수 없다. 그 빈자리를 그럴듯한 추측이 채운다.

AI할루시네이션 - AI활용

반응형

평가 방식도 한몫한다. OpenAI 연구진은 이를 객관식 시험에 비유했다. 모르는 문제를 비워 두면 0점이지만, 찍으면 맞을 수도 있다. 정답률만 따지는 평가에서는 “모르겠다”고 말하는 AI보다 일단 찍는 AI가 더 높은 점수를 받는다. 결국 AI는 모를 때도 답하는 쪽으로 길들여진다.

 

사람도 틀린다. 그러나 사람은 확신이 없으면 머뭇거리거나 “아마도”라는 말을 붙인다. 듣는 사람은 그 신호를 보고 한 번 더 확인한다. AI는 다르다. 맞는 답과 틀린 답을 똑같이 단정적인 말투로 전한다. 겉모습만으로는 둘을 구별할 수 없다는 것, 이것이 할루시네이션의 핵심 위험이다.

 

2023년 미국 뉴욕의 ‘마타 대 아비앙카’ 소송이 대표적이다. 한 변호사가 챗GPT로 찾은 판례를 법원에 냈는데, 그중 여러 건이 존재하지 않는 가짜였다. 변호사는 의심이 들어 챗GPT에게 진짜냐고 되묻기까지 했다. 돌아온 답은 “진짜”였다. 법원은 변호사들에게 5,000달러의 벌금을 부과했다.

 

할루시네이션은 곧 돈과 신뢰의 문제로 이어진다. 2024년 캐나다에서는 에어캐나다의 챗봇이 유족 할인 운임을 탑승 후에도 소급 신청할 수 있다고 잘못 안내했다. 회사는 챗봇이 ‘별도의 법적 주체’여서 책임이 없다고 주장했지만, 분쟁조정 재판소는 이를 받아들이지 않고 차액을 배상하라고 결정했다.

 

2025년 호주에서는 글로벌 컨설팅사 딜로이트가 정부에 낸 44만 호주달러짜리 보고서에서 존재하지 않는 참고문헌과 지어낸 판사 발언이 발견됐다. 딜로이트는 계약금 일부를 돌려주기로 했다. 법정도 예외가 아니다. 법원 제출 문서 속 AI 할루시네이션을 추적하는 연구자 다미앵 샤를로탱의 데이터베이스에는 2026년 6월 기준 1,600건이 넘는 사례가 쌓였다.

세 사례의 공통점은 분명하다. AI가 틀렸을 때 책임지는 쪽은 AI가 아니라, 그 답을 믿고 쓴 사람과 조직이다.

 

그렇다면 AI 할루시네이션은 어떻게 대처해야 할까?

① 사실은 직접 확인한다. 숫자, 날짜, 사람 이름, 법 조항, 논문 제목은 반드시 원문을 찾아본다. AI가 알려 준 링크도 실제로 열어 내용을 대조한다.

② AI에게 근거를 요구한다. “출처를 함께 제시하고, 확실하지 않으면 모른다고 답해 달라”고 요청하면 지어낸 답을 줄이는 데 도움이 된다.

③ 중요한 일일수록 사람이 마지막에 검토한다. 보고서, 계약서, 의료·법률 정보처럼 틀리면 피해가 큰 일에는 AI의 답을 초안으로만 쓴다.

 

OpenAI도 최신 모델에서 할루시네이션이 크게 줄었지만 여전히 일어난다고 인정한다. 할루시네이션은 당분간 AI와 함께 갈 특성이다. AI는 빠르고 성실한 조수지만, 마지막 확인 도장은 사람이 찍어야 한다. 그 한 번의 확인이 AI를 위험한 도구에서 믿을 만한 도구로 바꾼다.