피지컬 AI 시대, 연구가 말하는 인간만의 경쟁력
피지컬 AI 시대, 연구가 말하는 인간만의 경쟁력
— 모라벡의 역설부터 사람 재식별(Re-ID)까지
아침 8시, 동네 편의점 앞에서 정장 차림으로 우유를 사던 사람이 있다. 저녁 7시, 그가 운동복에 모자를 눌러쓰고 같은 자리에 다시 나타난다. 우리는 대개 1초 만에 “아, 아침의 그 사람”이라고 알아본다. 그런데 매장 천장의 AI 카메라와 진열대 사이를 오가는 로봇에게 이 일은 지금도 풀기 어려운 숙제다. 인간에게 가장 쉬운 일이 기계에게는 가장 어렵다는 이 역설 속에, 피지컬 AI 시대 인간의 경쟁력이 어디에 있는지에 대한 힌트가 숨어 있다.
피지컬 AI가 넘지 못한 벽, 모라벡의 역설
피지컬 AI는 언어 모델이 화면 밖으로 나와 로봇, 자율주행차, 스마트 공장이라는 ‘몸’을 얻은 AI를 말한다. 문제는 현실이 텍스트보다 훨씬 냉혹하다는 점이다. UC 버클리의 샹카르 사스트리 교수는 2026년 강연에서 물리 세계는 챗봇보다 훨씬 가혹하다고 경고했다. 1980년대 로봇공학자 한스 모라벡이 지적했듯, 고차원적 추론에는 계산이 적게 들지만 걷고, 잡고, 알아보는 감각·운동 능력에는 막대한 계산이 필요하다. 로봇 기업 피지컬 인텔리전스는 2025년 말 글에서 웹의 텍스트는 사람의 의사소통일 뿐 몸의 기술을 담고 있지 않기 때문에 언어 모델만으로는 이 벽을 넘을 수 없다고 설명했다. 펜실베이니아대 공대의 연구 제안서 역시 오늘날 로봇이 손 조작에서 걸음마 아기의 손재주에도 미치지 못한다고 진단한다.
이 사실은 첫 번째 경쟁력을 알려준다. 바로 ‘몸에 새겨진 숙련’이다. 정해진 규칙이 없는 현장에서 물건을 다루고, 예상 밖 상황에 즉흥적으로 대응하는 능력은 수십억 년의 진화가 다듬은 인간의 자산이다. 세계경제포럼(WEF)의 『미래 일자리 보고서 2025』가 2030년까지 가장 큰 일자리 성장이 돌봄·교육 같은 현장 중심 필수 분야에서 일어날 것으로 내다본 것도 같은 맥락이다.
기술이 바뀌어도 남는 능력: 창의성, 회복탄력성, 호기심
같은 보고서는 2030년까지 업무에 필요한 핵심 역량의 약 39%가 바뀔 것이라고 전망했다. AI·빅데이터·사이버보안 역량 수요가 가장 빠르게 늘지만, 창의적 사고와 회복탄력성, 유연성과 민첩성 같은 인간 고유의 역량은 여전히 핵심으로 남는다고 강조한다. 호기심과 평생학습 역시 떠오르는 역량 상위권에 올랐다. 결국 기술만 아는 사람도, 기술을 외면하는 사람도 아닌 ‘둘을 섞을 줄 아는 사람’이 살아남는다는 뜻이다.
같은 장소, 다른 시간대의 사람을 어떻게 알아보는가
이제 처음의 질문으로 돌아가 보자. 컴퓨터 비전에서는 이 문제를 ‘사람 재식별(Person Re-identification, Re-ID)’이라 부른다. 서로 다른 위치와 시간의 카메라 화면에서 같은 사람을 찾아 짝짓는 기술이다. 그런데 기존 연구 대부분은 사람이 같은 옷을 입고 다시 나타난다는 가정 위에 서 있었고, 그 결과 딥러닝 모델이 배운 특징은 사실상 ‘옷의 생김새’에 지배당했다(Qian 외, ACCV 2020). 아침의 정장과 저녁의 운동복 앞에서 기계가 길을 잃는 이유다.
연구자들은 이 한계를 넘기 위해 ‘장기·환복 재식별’에 도전하고 있다. Qian 등은 옷이 바뀌면 체형 같은 소프트 생체정보가 더 믿을 만하다고 보고, 옷 정보를 지우고 몸의 형태에 집중하는 모델을 제안했다. Xu와 Zhu가 공개한 DeepChange 데이터셋은 17대의 카메라로 1,121명을 12개월 동안 촬영해, 재등장 간격이 몇 분에서 계절 단위까지 벌어지는 현실 조건을 담았다. 그러나 다른 사람이 비슷한 옷을 입고, 같은 사람이 전혀 다른 옷을 입는 상황은 여전히 매우 어려운 과제로 남아 있다.
반면 인간은 어떻게 하는가. 요크대 연구팀은 사람이 평균 약 5,000개의 얼굴을 알고 있으며, 개인에 따라 1,000개에서 10,000개까지 차이가 난다고 밝혔다(Jenkins 외, 2018). 중요한 것은 익숙한 얼굴은 매우 안정적으로 알아보지만 낯선 얼굴은 자주 잘못 식별한다는 점이다. 즉 인간의 인식력은 단순한 ‘이미지 비교’가 아니라 반복된 만남이 쌓인 ‘친숙함’에서 나온다. 우리는 얼굴뿐 아니라 걸음걸이, 목소리, 그 시간대에 그 장소에 나타나는 습관까지 엮어 한 사람을 하나의 이야기로 기억한다. 옷이 바뀌어도 이야기는 바뀌지 않는다.
이 능력이 유난히 뛰어난 사람도 있다. 하버드대 연구진이 2009년 처음 보고한 ‘슈퍼 리코그나이저’다. 런던 경찰청은 이들로 전담 부서를 꾸려 CCTV 속 용의자를 식별하는데, 한 연구에서 일반 경찰 훈련생의 얼굴 대조 정확도가 평균 81%였던 반면 이 집단은 약 96%에 달했다. 다만 이들도 틀릴 수 있고, 틀린 경우에도 확신이 높았다는 연구가 있어 체계적 검증이 필요하다는 지적이 따른다.
그렇다면 정답은 무엇인가. 미국 국립표준기술연구소(NIST) 주도로 『미국국립과학원회보(PNAS)』에 실린 2018년 연구가 단서를 준다. 최신 알고리즘의 정확도는 법의학 얼굴 감정 전문가의 중앙값을 넘어섰지만, 가장 정확한 결과는 전문가 한 명과 최고 성능 알고리즘을 결합했을 때 나왔다. 전문가 두 명을 합친 것보다도 나았다. 기계가 후보를 좁히고, 인간이 맥락으로 최종 판단하는 협업이 최선이라는 뜻이다.
정리하면 피지컬 AI 시대 인간의 경쟁력은 다섯 가지로 압축된다. 몸에 새겨진 현장 숙련, 낯선 상황에서도 길을 찾는 맥락적 판단, 돌봄과 관계를 만드는 공감, 기계와 일을 나누어 정확도를 높이는 협업 설계 능력, 그리고 윤리적 판단이다. 마지막이 특히 중요하다. 시간을 넘어 같은 사람을 추적하는 기술은 언제든 감시의 도구가 될 수 있다. 누구를 알아봐야 하고 누구는 모른 척해야 하는지, 그 선을 긋는 일은 끝까지 인간의 몫이다. 저녁 편의점 앞에서 아침의 그 사람을 알아보고 가볍게 미소 짓는 능력, 그것이 로봇이 가장 늦게 배울 인간의 기술일지 모른다.