로봇이 실수하면 누가 멈출까?
로봇이 실수하면 누가 멈출까?
- 피지컬 AI 오류, 이렇게 대처해야 한다
- 틀릴 수 있다는 전제에서 시작하는 다섯 가지 대처법
챗봇이 틀린 답을 내놓으면 우리는 창을 닫고 다시 물으면 된다. 그러나 로봇 팔이 틀리게 움직이면 사정이 달라진다. 피지컬 AI(Physical AI)는 카메라와 센서로 세상을 보고, 스스로 판단해, 로봇이나 자동차 같은 몸으로 직접 움직이는 인공지능이다. 2026년 2월 인공지능산업법학회 학술대회에서 인덕대 송재철 교수는 화면 속 AI의 오류가 정보를 왜곡하는 데 그친다면, 피지컬 AI의 오류는 물건을 부수고 사람을 다치게 한다고 짚었다. 글은 고치면 되지만 충돌은 되돌릴 수 없다는 뜻이다. 그래서 질문을 바꿔야 한다. ‘오류를 어떻게 없앨까’가 아니라 ‘오류가 나도 사람이 다치지 않게 하려면 어떻게 할까’이다.
오류는 없애는 것이 아니라 대비하는 것
아무리 뛰어난 AI도 처음 보는 상황에서는 틀린다. 역광에 눈이 부신 카메라, 먼지 낀 센서, 끊긴 통신, 잘못된 업데이트처럼 오류의 원인은 AI 모델 바깥에도 많다. 미국 국립표준기술연구소(NIST)가 2023년에 내놓은 AI 위험관리 프레임워크는 위험 관리를 한 번의 점검으로 보지 않는다. 거버넌스, 파악, 측정, 관리라는 네 기능이 계속 맞물려 도는 과정으로 설명한다. 오류는 한 번 잡고 끝내는 숙제가 아니라 운영하는 내내 관리해야 하는 대상이다.
첫째, 안전하게 멈출 수 있어야 한다
가장 먼저 갖춰야 할 것은 정지 수단이다. 유럽연합 AI법 제14조는 고위험 AI를 사람이 감독할 수 있어야 하고, 정지 버튼이나 그에 준하는 절차로 시스템을 안전한 상태에서 멈출 수 있어야 한다고 규정하고 있다. 여기서 눈여겨볼 말은 ‘안전한 상태’다. 무거운 짐을 든 로봇의 전원이 갑자기 끊기면 짐이 떨어질 수 있다. 잘 멈춘다는 것은 속도를 줄이고, 든 것을 내려놓고, 사람에게서 물러난 뒤에 서는 것이다. 자신이 없을 때 느려지고 멈출 줄 아는 로봇이 좋은 로봇이다.
둘째, AI와 따로 움직이는 안전장치가 필요하다
AI의 판단을 AI 스스로 검사하게 해서는 안 된다. 자동차 에어백이 운전 실력과 상관없이 터지듯, 로봇에도 AI와 독립된 안전장치가 있어야 한다. 산업용 로봇의 국제 안전표준 ISO 10218은 2011년 이후 처음으로 2025년에 크게 개정되었다. 개정판은 기능안전 요구사항을 더 분명히 했고, 사람 곁에서 일하는 협동로봇의 안전 요건과 사이버보안 요건까지 담았다. 해킹으로 로봇의 행동이 바뀔 수 있으니 보안도 안전의 일부라는 뜻이다. 2026년 10월 QNX가 서울 포럼에서 밝힌 구상도 이와 맥락을 같이 한다. AI 모델이 완벽하지 않더라도 기계의 실제 행동만큼은 운영체제 단계에서 안전하고 예측 가능하게 붙잡아 두자는 것이다.
셋째는 기록, 넷째는 연습, 다섯째는 책임이다
오류가 났다면 왜 났는지 알아야 같은 일이 되풀이되지 않는다. 비행기의 블랙박스처럼 로봇이 무엇을 보고 어떻게 판단했는지 기록이 남아야 한. 송재철 교수가 실증 단계부터 규제를 면제해 주기보다 로그와 검증 자료를 조건으로 요구하자고 제안한 까닭이 여기에 있다. 위험한 상황은 현실보다 가상에서 먼저 겪게 해야 한다. 디지털 트윈 같은 가상 환경에서 수없이 넘어져 본 로봇이 현장에서 덜 넘어진다. 마지막은 사람이다. 사고가 났을 때 ‘AI가 잘못했다’는 말로는 아무것도 해결할 수 없다. 만든 회사, 설치한 회사, 운영하는 현장이 각자 무엇을 책임지는지 미리 정해 두어야 하고, 작업자는 비상정지 버튼의 위치와 대피 요령을 몸으로 익혀야 한다. 2026년 7월 대한산업안전협회가 피지컬 AI 시대의 산업안전을 주제로 특별 세미나를 연 것도 이 준비가 현장의 과제가 되었기 때문이다.
정리하면 다섯 가지다. 멈출 수 있게 하고, AI와 따로 지키게 하고, 기록이 남게 하고, 가상에서 먼저 연습시키고, 책임을 분명히 하는 것이다. 완벽한 로봇을 기다릴 필요는 없다. 틀려도 안전한 로봇과, 틀렸을 때 무엇을 해야 하는지 아는 사람이 있으면 된다. 로봇을 믿을 수 있는지는 얼마나 똑똑한가보다 틀렸을 때 얼마나 안전한가로 판단해야 한다.