디지털 트윈이 만든 데이터와 진짜 세계가 어긋나는 이유

디지털 트윈이 만든 데이터와 진짜 세계가 어긋나는 이유

- AI를 구현할 때 반드시 챙겨야 할 것들

 

로봇 팔이 가상 시뮬레이션 안에서 정육면체를 천 번 집어 올린다. 단 한 번의 실수도 없는 만점짜리 성적표다. 그런데 똑같은 로봇을 현실로 데려와 진짜 정육면체를 쥐여 주면, 팔은 어이없이 그것을 놓치고 심지어 책상 밖으로 밀어 버린다. 로봇이 갑자기 멍청해진 게 아니다. 세상이 대본대로 움직여 주지 않았을 뿐이다. 시뮬레이션 속 실력과 현실의 성능 사이에 벌어지는 이 틈에는 이름이 있다. 바로 ‘현실 격차(reality gap)’, 혹은 심투리얼(sim-to-real) 격차다.

 

디지털 트윈은 매력적인 데이터 공장이다. 현실에서 수집하려면 위험하거나 비싸거나 오래 걸릴 상황을, 가상 세계에서는 훨씬 싸고 빠르고 안전하게, 그것도 정답표까지 완벽하게 붙여 무한정 찍어낼 수 있다. 그런데 바로 그 완벽함이 함정이다. 디지털 트윈은 현실의 ‘복사본’이 아니라 ‘근사치’다. 시뮬레이터를 만들 때 우리는 마찰, 공기 저항, 미세한 조명 변화, 센서의 잡음과 지연처럼 사소해 보이는 요소들을 의식적으로든 무의식적으로든 단순화하거나 생략한다. 물체의 질감, 재질의 미묘한 거동, 예측 불가능한 사람의 행동도 매끈하게 다듬어진다. 그 결과 디지털 트윈이 뿜어내는 데이터의 통계적 분포는 현실과 조금씩, 그러나 체계적으로 어긋난다. 이 데이터만 먹고 자란 AI는 세상을 배우는 대신 ‘시뮬레이터의 말투’를 외워 버린다.

AI활용

반응형

이 어긋남을 가장 실감 나게 보여 주는 사례가, 같은 장소에 시간대를 달리해 다시 나타난 사람을 알아보는 문제다. 서로 다른 카메라나 같은 카메라의 다른 시각에 찍힌 인물이 동일인인지 판별하는 이 기술을 사람 재식별(Person Re-Identification)이라 부른다. 실제 CCTV 영상을 모으는 일은 사생활 침해와 막대한 라벨링 비용을 부른다. 그래서 연구자들은 가상 인간들이 렌더링된 거리를 돌아다니는 ‘디지털 트윈 카메라망’을 만들어 학습 데이터를 합성한다. 트윈 안에서는 모든 것이 완벽하다. 오전 9시의 A와 오후 3시의 A가 같은 사람이라는 정답을 시스템이 처음부터 쥐고 있기 때문이다. 문제는 이 모델을 현실 CCTV에 올려놓는 순간이다. 진짜 사람은 아침과 오후 사이에 옷을 갈아입고, 조명은 시시각각 흐르며, 카메라 각도는 비뚤고 사람은 서로에게 가려진다. 트윈이 미처 담지 못한 이 변수들 앞에서 모델은 휘청인다.

 

다만 이 격차가 절망적인 것은 아니다. 흥미롭게도 한 연구는 수천 명의 무작위 3차원 인물을 생성해 충분히 다양하게 만든 합성 데이터로 학습한 재식별 모델이, 오히려 여러 실제 데이터셋으로 학습한 모델을 능가할 수 있음을 보였다. 열쇠는 ‘현실을 얼마나 똑같이 베꼈는가’가 아니라 ‘얼마나 다양한 변주를 의도적으로 집어넣었는가’에 있었다. 초기 합성 데이터셋들이 힘을 못 쓴 이유도 인물 모델이 빈약하고 배경이 단조로우며 자세와 옷차림의 변화가 부족했기 때문이었다.

 

여기서 AI를 구현할 때 반드시 챙겨야 할 원칙들이 도출된다. 첫째, 디지털 트윈 안의 성적을 현실의 성능으로 착각하지 말라. 반드시 현실에서 따로 떼어 둔 데이터로 검증해야 한다. 둘째, 다양성을 우연에 맡기지 말고 설계하라. 조명, 질감, 각도, 옷차림을 일부러 무작위로 흔드는 ‘도메인 무작위화(domain randomization)’는 모델이 시뮬레이터의 버릇 대신 변하지 않는 본질을 배우게 한다. 셋째, 합성 데이터만 고집하지 말고 실제 데이터와 섞으며, 도메인 적응 기법으로 간극을 메워라. 넷째, 디지털 트윈은 한 번 뽑아 쓰고 끝나는 사진이 아니다. 대상의 상태가 변하면 디지털 트윈도 함께 갱신되어야 하며, 그렇지 않으면 시간이 흐를수록 현실과 어긋나는 ‘맥락 불일치’가 쌓인다. 무엇보다, 트윈이 무엇을 틀리게 계산했는가보다 무엇을 조용히 생략했는가가 더 위험하다는 점을 기억해야 한다.

 

디지털 트윈은 지도이지 영토가 아니다. 그 가치는 현실을 완벽히 복제하는 데 있지 않고, 현실에서는 함부로 시도할 수 없는 상황을 마음껏 예행연습할 수 있는 ‘통제된 실험실’이 되어 준다는 데 있다. 단, 모델이 끝나고 세계가 시작되는 그 이음매를 잊지 않을 때만 그렇다. 오늘도 같은 골목을 아침저녁으로 지나는 당신을 알아보는 AI는, 사실 존재하지 않는 세계에서 많은 것을 배웠다. 그 사이의 틈을 살피는 일 — 어쩌면 그것이 AI를 ‘구현’한다는 말의 진짜 의미인지도 모른다.