디지털 트윈에서 배운 로봇, 왜 현실에서는 넘어질까?
디지털 트윈에서 배운 로봇, 왜 현실에서는 넘어질까?
가상 데이터를 피지컬 AI에 옮기는 네 가지 방법
운전면허 시험장에서 만점을 받은 사람도 비 오는 퇴근길 도로에 처음 나서면 손에 땀이 난다. 시험장에는 없던 물웅덩이와 끼어드는 차, 흐릿한 차선이 한꺼번에 나타나기 때문이다. 로봇도 마찬가지다. 디지털 트윈이라는 가상 공간에서 수만 번 연습해 완벽해 보이던 로봇이 실제 공장 바닥에서는 상자 하나를 제대로 집지 못하는 일이 생긴다. 전문가들은 이 차이를 ‘현실 격차(reality gap)’ 또는 ‘심투리얼 갭(sim-to-real gap)’이라고 부른다. 디지털 트윈에서 얻은 데이터를 피지컬 AI에 적용한다는 것은 결국 이 격차를 줄이는 일이다.
왜 가상에서 먼저 배우게 할까
피지컬 AI는 로봇이나 자율주행차처럼 몸을 가지고 현실에서 움직이는 인공지능이다. 글을 쓰는 AI가 틀리면 고치면 되지만, 로봇 팔이 틀리면 물건이 깨지거나 사람이 다친다. 엔비디아는 실제 환경에서 학습 데이터를 모으는 일이 느리고 비싸며 위험하다고 설명하면서, 그래서 시뮬레이션으로 만든 합성 데이터가 필요하다고 말한다. 시장조사기관 가트너는 드물게 일어나는 예외 상황의 학습 데이터에서 합성 데이터가 차지하는 비중이 지금의 20% 수준에서 2030년에는 90%를 넘을 것으로 내다봤다. 가상에서 먼저 배우는 방식이 선택이 아니라 기본이 되고 있다는 뜻이다.

첫째, 가상 세계를 일부러 흔들어라
가장 널리 쓰이는 방법은 ‘도메인 랜덤화’다. 조명의 밝기, 바닥의 마찰, 상자의 무게, 카메라의 잡음을 연습할 때마다 조금씩 바꾸는 것이다. 2017년 토빈(Tobin) 등의 연구 이후 널리 퍼졌고, 디지털 트윈 기반 AI 시뮬레이션 연구를 종합한 2025년 논문도 이 방법을 가장 흔한 접근으로 꼽는다. 원리는 간단하다. 날마다 다른 날씨에서 운전을 연습한 사람은 처음 만나는 날씨에도 덜 당황한다. 로봇도 마찬가지다. 수천 가지로 조금씩 다른 가상 세계를 겪은 로봇에게 현실은 ‘또 하나의 변형’일 뿐이다. 다만 엔비디아의 개발자 교육 자료는 아무렇게나 극단적으로 흔들지 말고, 현실에서 있을 법한 범위 안에서 바꾸라고 강조한다.
둘째, 가상 데이터에 현실 데이터를 조금 섞어라
가상 데이터만으로는 마지막 한 걸음이 모자란다. 그래서 현장에서는 가상에서 대량으로 배운 뒤 소량의 실제 데이터로 마무리 학습(미세조정)을 하는 방식을 자주 쓴다. 학원에서 모의 주행을 충분히 한 다음 실제 도로 연수를 몇 시간 받는 것과 같다. 실제 데이터는 적어도 된다. 중요한 것은 로봇이 일할 바로 그 현장에서 얻은 데이터여야 한다는 점이다.
셋째, 현실의 결과를 다시 가상으로 돌려보내라
디지털 트윈이 일반 시뮬레이션과 다른 점은 현실과 데이터로 계속 이어져 있다는 것이다. 로봇이 현장에서 실패한 장면과 센서가 기록한 값을 다시 디지털 트윈에 넣어 가상 세계를 수정한다. 이것을 ‘리얼투심(real-to-sim)’이라고 한다. AWS는 최신 피지컬 AI 학습 과정이 심투리얼과 리얼투심을 함께 묶어 쓴다고 설명하고, 시높시스도 실제 동작과 모델을 비교해 그 차이로 시뮬레이션과 AI를 함께 다듬는 되먹임 고리를 디지털 트윈의 역할로 꼽고 있다. 창고 선반 위치가 바뀌었는데 가상 창고가 그대로라면 로봇은 낡은 지도를 외우는 셈이다.
넷째, 마지막 시험은 반드시 현실에서 치러라
가상에서의 성적은 가설일 뿐이다. 엔비디아 자료도 시뮬레이션 실험은 가설을 시험하는 단계이고, 제대로 옮겨졌는지는 실제 장비에서 측정해야 확인된다고 밝힌다. 그래서 처음에는 속도를 낮추고, 사람이 없는 구역에서, 좁은 범위의 작업부터 시작해 단계적으로 넓혀 가야 한다.
정디지털 트윈의 데이터는 정답지가 아니라 연습 문제집이다. 문제를 다양하게 풀고, 실전 문제를 조금 섞고, 틀린 문제를 다시 문제집에 넣고, 마지막에는 실제 시험장에서 확인하는 것. 이 순환이 멈추지 않고 돌아갈 때, 가상에서 배운 로봇이 현실에서도 넘어지지 않는다.