피지컬AI 시대, 인간의 판단과 결정이 꼭 필요한 이유

피지컬AI 시대, 인간의 판단과 결정이 꼭 필요한 이유

 

공장에서는 로봇 팔이 스스로 부품을 고르고, 도로에서는 운전석이 빈 자율주행차가 손님을 태운다. 화면 속에서 말만 하던 인공지능이 이제 몸을 얻어 현실 세계를 직접 움직이기 시작했다. 이것을 피지컬AI(Physical AI)라고 부른다. 챗봇이 틀리면 엉뚱한 문장 하나가 남지만, 피지컬AI가 틀리면 사람이 다치거나 목숨을 잃을 수 있다. 그래서 질문은 더 절실해진다. 기계가 이렇게 똑똑한데, 판단과 결정까지 맡기면 안 되는 걸까?

 

기계는 ‘보는 것’과 ‘아는 것’이 다르다

2018년 3월, 미국 애리조나주 템피에서 우버의 자율주행 시험차가 밤길을 건너던 보행자를 치어 숨지게 했다. 미국 연방교통안전위원회(NTSB) 조사에 따르면 차량의 자율주행 시스템은 충돌 5.6초 전에 이미 보행자를 감지했다. 그런데도 끝까지 그 대상을 ‘사람’으로 정확히 알아보지 못했고, 어디로 움직일지도 예측하지 못했다. 센서는 무언가를 봤지만 그것이 무엇이고 어떤 의미인지는 이해하지 못한 것이다. 자전거를 끌고 횡단보도 밖을 건너는 사람처럼, 학습 데이터에 드물었던 장면 앞에서 기계는 길을 잃었다. 현실은 이런 예외로 가득하다. 비 오는 밤의 반사광, 공사장 인부의 수신호, 공을 쫓아 뛰어드는 아이. 세상의 모든 경우를 미리 가르쳐 둘 수는 없다.

 

사람이 방심하면 안전망도 사라진다

같은 사고에서 NTSB는 더 불편한 사실도 밝혔다. 운전석의 안전요원은 휴대폰으로 TV 프로그램을 보고 있었고, 그가 주의를 기울였다면 충돌을 피하거나 피해를 줄일 시간이 충분했을 것이라고 판단했다. 위원회는 회사가 ‘자동화 안주(automation complacency)’, 즉 기계가 알아서 하겠지 하며 사람이 손을 놓는 현상에 제대로 대비하지 않았다고 지적했다. 차에 원래 달려 있던 자동 긴급제동 기능을 꺼 둔 결정도 문제로 꼽혔다. 교훈은 분명하다. 사람이 형식적으로 자리에 앉아 있는 것은 감독이 아니다. 판단할 준비가 된 사람이 실제로 개입할 수 있어야 비로소 안전망이 된다.

AI활용

반응형

설계의 가정이 무너질 때, 바로잡는 것은 사람이다

하늘에서도 비슷한 일이 있었다. 2018년과 2019년, 보잉 737 맥스 두 대가 잇따라 추락해 346명이 숨졌다. 기체를 자동으로 조정하는 MCAS라는 시스템이 잘못된 센서 값을 믿고 비행기 머리를 계속 아래로 눌렀다. NTSB는 보잉이 ‘조종사가 즉시, 적절하게 대응할 것’이라고 가정하고 시스템을 설계했지만, 여러 경고가 한꺼번에 울리는 혼란 속에서 그 가정은 현실과 맞지 않았다고 지적했다. 자동화 시스템도 결국 사람이 세운 가정 위에 서 있다. 그리고 그 가정이 무너지는 순간 상황을 다시 읽고 판단할 수 있는 존재 역시 사람이다. 그러려면 사람이 시스템을 이해하고, 필요할 때 끌 수 있어야 한다.

 

예상 밖의 순간, 사람의 판단이 생명을 구한다

반대로 사람의 판단이 기적을 만든 장면도 있다. 2009년 1월, 뉴욕 라과디아 공항을 이륙한 US에어웨이스 1549편은 새 떼와 부딪혀 엔진 두 개가 모두 멈췄다. 기장 체슬리 설렌버거에게 주어진 시간은 몇 분에 불과했다. 매뉴얼은 가까운 공항으로 돌아가라고 말하는 듯했지만, 그는 고도와 속도, 도시의 건물들을 보며 공항까지는 닿지 못한다고 판단했고 허드슨강 위에 비행기를 내렸다. 탑승자 155명 전원이 살아남았다. 어떤 훈련 시나리오에도 없던 상황에서, 그는 규칙을 그대로 따르는 대신 ‘지금 무엇이 가장 많은 생명을 지키는가’를 스스로 물었다. 이것이 기계가 아직 흉내 내기 어려운 인간 판단의 본질이다.

 

책임은 기계에게 물을 수 없다

판단은 곧 책임이다. 로봇이 사고를 냈다고 로봇에게 벌을 줄 수는 없다. 유네스코가 2021년 193개 회원국의 동의로 채택한 ‘인공지능 윤리 권고’는 AI의 모든 단계에서 윤리적·법적 책임은 사람에게 있다고 밝히고, 원칙적으로 삶과 죽음을 가르는 결정을 AI에 넘겨서는 안 된다고 권고했다. 법도 같은 방향으로 움직인다. 유럽연합 AI법 제14조는 고위험 AI를 사람이 효과적으로 감독할 수 있게 설계하도록 요구하며, 감독자가 AI의 결과를 무시하거나 뒤집을 수 있어야 하고 기계를 지나치게 믿는 ‘자동화 편향’도 경계해야 한다고 명시했다. 우리나라 역시 2026년 1월 22일 시행된 인공지능기본법 제34조에서 고영향 인공지능 사업자에게 ‘사람의 관리·감독’ 의무를 부과했다.

 

기계는 ‘어떻게’를, 사람은 ‘왜’를 맡는다

그렇다고 피지컬AI를 두려워하자는 이야기는 아니다. 기계는 지치지 않고, 사람보다 빠르고 정확하게 계산한다. 반복 작업과 위험한 현장에서 기계가 해낼 일은 앞으로 더 많아질 것이다. 핵심은 역할 분담이다. 기계는 ‘어떻게 할지’를 빠르게 계산하고, 사람은 ‘무엇을 위해, 그래도 되는지’를 판단한다. 생명과 재산, 효율과 안전 사이에서 무엇을 먼저 지킬지는 숫자가 아니라 가치의 문제이고, 그 결과를 함께 살아갈 사람이 정해야 한다.

 

그렇다면 일상에서는 무엇을 기억하면 좋을까. 첫째, AI가 내놓은 결과를 정답이 아니라 ‘참고 의견’으로 받아들이는 습관이다. 둘째, 그 결과가 어떤 근거에서 나왔는지 묻고, 설명할 수 없다면 한 번 더 확인하는 태도다. 셋째, 사람의 생명과 안전, 권리가 걸린 일이라면 마지막 확인 버튼만큼은 반드시 사람이 누르도록 절차를 만드는 것이다. 전문가들은 이를 ‘휴먼 인 더 루프(Human-in-the-loop)’, 즉 사람이 판단의 고리 안에 머무는 구조라고 부른다.

 

피지컬AI 시대에 우리가 길러야 할 능력은 기계보다 빨리 계산하는 힘이 아니다. 기계의 판단을 의심할 줄 알고, 필요하면 멈춤 버튼을 누를 줄 아는 힘이다. 기술이 똑똑해질수록 마지막 결정을 내리는 사람의 눈은 더 깨어 있어야 한다. 운전은 기계에게 맡기더라도, 어디로 갈지 정하는 손은 여전히 우리에게 있어야 한다.