AI는 왜 쌍둥이를 구별하지 못할까?
AI는 왜 쌍둥이를 구별하지 못할까?
- 얼굴인식 AI 478개가 모두 속은 이유, 그리고 사람의 눈이 이기는 지점
스마트폰을 들여다보는 순간 잠금이 풀리는 일은 이제 너무 익숙하다. 애플은 Face ID를 소개하며 낯선 사람이 내 아이폰을 열 확률이 약 100만분의 1이라고 밝혔다. 그런데 같은 안내문에는 조용한 단서가 하나 붙어 있다. 쌍둥이나 나와 닮은 형제자매, 그리고 얼굴 특징이 아직 덜 자란 13세 미만 어린이에게는 이 확률이 달라진다는 것이다. 걱정된다면 비밀번호를 쓰라는 권고까지 덧붙였다. 실제로 2017년 아이폰 X 출시 직후 여러 언론이 일란성 쌍둥이로 실험해 보았고, 등록하지 않은 쌍둥이 형제의 얼굴로 잠금이 풀리는 장면이 영상으로 남았다. 수십억 장의 얼굴을 학습한 인공지능이 왜 하필 쌍둥이 앞에서는 길을 잃는 것일까.
478개의 AI가 치른 시험, 결과는 전원 낙제
이 질문에 가장 공신력 있는 답을 내놓은 곳은 미국 국립표준기술연구소(NIST)다. NIST는 2022년 보고서 「NISTIR 8439」에서 쌍둥이 698쌍의 얼굴 사진 5,938장을 놓고, 2019년부터 2022년 초까지 전 세계 기업과 대학이 제출한 얼굴인식 알고리즘 478개를 시험했다. 사진의 상당수는 미국 오하이오주에서 해마다 열리는 쌍둥이 축제 ‘트윈스 데이즈’에서 웨스트버지니아대학 연구진이 고해상도로 촬영한 것이었다.
결과는 충격적이었다. 보고서는 시험한 알고리즘 모두가 일란성 쌍둥이를 서로 다른 사람으로 구별하지 못했다고 결론 내렸다. 일반인끼리 비교할 때는 1만 번에 한 번만 착각하도록 기준을 맞춰 두었는데도, 일란성 쌍둥이 앞에서는 대부분의 알고리즘이 99% 이상의 확률로 “같은 사람”이라고 판정했다. 같은 성별의 이란성 쌍둥이도 대부분 혼동했고, 성별이 다른 이란성 쌍둥이만 겨우 구별했다. 가장 나은 알고리즘조차 일란성 쌍둥이의 절반 정도만 가려냈다. 더 눈여겨볼 대목은 따로 있다. 얼굴인식 기술이 해마다 정확해지는 동안에도 쌍둥이를 구별하는 능력은 전혀 나아지지 않았다는 점이다.
AI가 쌍둥이에게 속는 세 가지 이유
첫째, AI는 얼굴을 ‘닮음의 점수’로 판단한다. 얼굴인식 AI는 사진을 수백 개의 숫자로 이루어진 일종의 얼굴 지문으로 바꾼 뒤, 두 지문이 얼마나 비슷한지를 점수로 매긴다. 점수가 기준선을 넘으면 같은 사람이다. 문제는 일란성 쌍둥이가 같은 유전자를 공유해 얼굴의 뼈대와 이목구비 배치가 거의 같다는 데 있다. NIST가 그린 점수 분포를 보면 쌍둥이 형제끼리의 점수가 같은 사람의 다른 사진끼리 비교한 점수와 거의 겹친다. AI 입장에서는 정말로 같은 사람처럼 보이는 것이다.
둘째, 기준선을 올리는 것도 해법이 되지 못한다. 그렇다면 더 깐깐하게 판정하면 되지 않을까. NIST의 답은 ‘현실적으로 불가능하다’이다. 쌍둥이를 걸러낼 만큼 기준을 높이면, 이번에는 평범한 사용자가 조명이나 표정이 조금만 달라져도 본인 인증에 실패하게 된다. 수많은 사람을 위한 편리함과 소수의 쌍둥이를 위한 엄격함 사이에서 한쪽을 택해야 하는 구조적 딜레마다.
셋째, AI는 속도를 위해 결정적 단서를 스스로 지운다. 일란성 쌍둥이도 피부의 결, 모공의 배열, 점과 잔주름처럼 유전자가 아닌 삶의 흔적에서는 서로 다르다. 그런데 NIST는 많은 신경망이 빠른 처리를 위해 사진을 작게 줄이거나 강하게 압축해 입력받기 때문에 바로 이 미세한 정보가 사라진다고 지적했다. 실제로 2004년에 등록된 한 특허는 고해상도 사진의 피부 질감으로 쌍둥이를 구별할 수 있었는데, 이를 위해서는 두 눈 사이가 최소 120픽셀은 되어야 했다. 반면 출입국 현장에서 찍힌 사진의 눈 사이 거리는 평균 38픽셀에 불과했다. 답이 사진 속에 있어도 AI의 눈에는 처음부터 보이지 않는 셈이다.
사람의 눈은 ‘같은 점’이 아니라 ‘다른 점’을 찾는다
흥미롭게도 이 대결에서는 사람이 앞선다. 미국 노트르담대학 연구진은 2011년 일란성 쌍둥이 186명의 사진으로 사람의 판별 능력을 실험했다. 사진을 2초만 보여 주었을 때 참가자들의 평균 정확도는 약 79%였지만, 시간을 충분히 주자 약 93%로 뛰어올랐다. 정답을 맞힌 사람들이 꼽은 결정적 단서는 단연 점, 흉터, 주근깨였다. 상용 얼굴인식 엔진이 ‘같은 사람’이라고 거의 확신한 쌍둥이 사진을 두고도 사람들은 88%에서 100%까지 정확히 가려냈다. AI가 얼굴 전체의 닮음을 재는 동안, 사람은 시간을 들여 작은 차이 하나를 찾아낸 것이다.
쌍둥이 앞에서 멈칫하는 AI는 오늘날 인공지능의 본질을 정직하게 보여 준다. AI는 ‘얼마나 닮았는가’를 재는 데는 탁월하지만, ‘무엇이 다른가’를 스스로 묻지는 못한다. 수많은 데이터로 평균을 익힌 기계가 평균 바깥의 미묘한 차이를 놓치는 것은 어쩌면 당연한 일이다. 쌍둥이를 끝내 구별해 내는 것은 여전히, 서두르지 않고 상대의 얼굴을 오래 들여다보는 사람의 눈이다.