지금, 온 디바이스 AI는 어디에서 활용되고 있는가

지금, 온 디바이스 AI는 어디에서 활용되고 있는가

 

온 디바이스 AI라는 말은 어렵게 들리지만, 핵심은 단순하다. 인공지능 모델을 멀리 있는 클라우드 서버로 보내지 않고, 손안의 기기가 가진 자체 칩 위에서 곧바로 돌린다는 뜻이다. 몇 년 전까지만 해도 이것은 고가 제품에만 붙던 특별한 기능이었지만, 2026년 현재는 사정이 달라졌다. 올해 출시된 플래그십 스마트폰의 대다수가 신경망 처리 장치(NPU)를 기본으로 탑재하고, 중급형 기기조차 의미 있는 AI 작업을 기기 안에서 처리한다. 이제 온 디바이스 AI는 자랑거리가 아니라, 수많은 기기가 매일 작동하는 방식의 밑바탕이 되었다. 그렇다면 이 기술은 실제로 어디에서, 어떤 모습으로 활용되고 있을까.

 

가장 눈에 잘 띄는 무대는 역시 스마트폰이다. 삼성 갤럭시 S26 울트라는 퀄컴 스냅드래곤 8 엘리트 칩을 바탕으로 실시간 통역, 생성형 사진 편집, 문서 처리 같은 작업을 기기 안에서 소화한다. 애플은 아이폰과 맥에서 애플 인텔리전스를 통해 열두 개 언어의 오프라인 번역과 긴 이메일·음성 녹음의 요약을 지원하고, 구글은 픽셀 시리즈에서 제미나이 나노를 통해 인터넷 없이도 번역을 처리한다. 우리가 매일 쓰면서도 잘 인식하지 못하는 사진 기능—장면 인식, 노이즈 제거, 인물 모드의 심도 계산, 사진 속 방해물 삭제—역시 상당수가 클라우드가 아니라 기기 안의 NPU에서 곧바로 이뤄진다.

 

이 방식이 주는 이점은 세 가지로 요약된다. 속도, 사생활, 그리고 오프라인 작동이다. NPU에서 처리하는 흔한 작업은 클라우드를 오가는 것보다 열 배에서 수십 배 빠르고, 그 과정에서 데이터가 기기 밖으로 나가지 않는다. 비행기 모드에서도, 신호가 잡히지 않는 터널 안에서도 번역과 사진 정리가 작동하는 이유가 여기에 있다. 유럽의 개인정보 규제나 클라우드 운영 비용의 압박 같은 구조적 요인도 더 많은 연산을 기기 쪽으로 밀어내는 힘으로 작용하고 있다.

AI활용

반응형

손목과 귀로도 이 기술은 빠르게 옮겨 가고 있다. 애플 워치 시리즈 11은 애플 인텔리전스를 기기 안에서 돌려 건강 데이터를 분석하고, 불규칙한 심장 리듬을 감지하며, 충돌 사고를 인식한다. 애플 에어팟 프로 3는 음악 재생 기기를 넘어, 미국 식품의약국의 승인을 받은 보청기 기능과 실시간 통역, 건강 추적을 한 기기에 담았다. 이런 기능들은 클라우드의 응답을 기다릴 여유가 없다. 심장의 이상이나 눈앞의 충돌은 그 자리에서 판단해야 하기 때문이다.

 

보청기는 온 디바이스 AI가 왜 필요한지를 가장 선명하게 보여 주는 사례다. 많은 제품이 ‘AI 보청기’를 표방하지만, 그 대부분은 개발 단계에서 수백만 개의 음성 표본으로 알고리즘을 훈련했을 뿐 실제 착용 중에는 고정된 방식으로 작동한다. 반면 포낙의 인피니오 스피어, 스타키, 리사운드 같은 일부 최신 제품은 귀에 꽂힌 전용 칩 위에서 신경망을 실시간으로 돌려 말소리와 소음을 그 순간에 분리한다. 대화 내용을 서버로 보내 처리를 기다릴 수 없는 기기에게, 연산이 기기 안에 있다는 것은 선택이 아니라 필수 조건이다.

 

노트북과 PC에서도 변화는 뚜렷하다. 애플의 M5 칩은 40코어 신경망 엔진으로 초당 38조 회 이상의 연산을 수행하며, 표준적인 애플 인텔리전스 작업을 데이터를 밖으로 보내지 않고 기기 안에서 끝낸다. 퀄컴의 스냅드래곤 X2는 최대 75 TOPS의 NPU 성능으로 윈도우 AI PC와 고급 안드로이드 기기에서 여러 개의 소형 모델을 동시에 돌릴 수 있게 했다. 제미나이 나노, 마이크로소프트 파이, 메타 라마 같은 10억에서 140억 개 수준의 파라미터를 가진 소형 언어 모델들이 이제 휴대폰과 노트북의 제한된 자원 안에 들어앉게 된 덕분이다.

 

자동차는 온 디바이스 AI가 안전과 직결되는 영역이다. 달리는 차가 네트워크 연결에만 기대어 판단할 수는 없기 때문이다. 보쉬는 마이크로소프트, 엔비디아와 손잡고 차량 내 AI 콕핏을 개발해, 음성 인식과 음성 합성 모델을 차 안에 심고 여기에 대형 언어 모델의 추론을 결합했다. 운전자는 자연스러운 목소리로 차와 대화하고, 그 처리는 엔비디아의 차량용 플랫폼 위에서 실시간으로 이뤄진다. 이런 온보드 AI는 통신이 끊긴 상황에서도 작동해야 한다는 자동차 고유의 조건을 충족시킨다.

 

공장과 로봇의 현장에서는 이 흐름이 ‘피지컬 AI’라는 이름으로 불린다. 엔비디아의 젯슨 토르 같은 엣지 컴퓨팅 모듈은 휴머노이드 로봇과 자율주행 이동 로봇, 공장 자동화 설비에 탑재되어 카메라가 본 장면을 그 자리에서 해석한다. 시각-언어 모델이 실시간 영상을 보고 “3D 프린트가 실패하고 있는가”와 같은 질문에 답하는 일이 기기 안에서 벌어진다. 값비싼 장비만의 이야기도 아니다. 라즈베리 파이에 저렴한 NPU 보드를 얹어 건물 자동화나 환경 감시 같은 곳에 컴퓨터 비전을 심는 사례처럼, 온 디바이스 AI는 비용에 민감한 영역까지 내려와 있다.

 

이렇게 흩어진 사례들을 관통하는 하나의 원리가 있다. 답이 즉각적이어야 하거나, 사적이어야 하거나, 네트워크 없이도 작동해야 하는 곳이라면 어디든 연산이 기기 쪽으로 옮겨 온다는 것이다. 스마트폰의 사진과 통역, 손목의 심박 감지, 귀의 소음 분리, 자동차의 음성 비서, 공장의 시각 판단은 겉모습이 저마다 다르지만 모두 이 원리 위에 서 있다.

 

온 디바이스 AI는 클라우드와 경쟁하는 기술이 아니다. 무거운 훈련과 방대한 지식은 여전히 데이터센터의 몫이고, 두 방식은 서로를 보완한다. 다만 분명한 방향이 하나 있다. 지능이 데이터가 태어나는 자리에 점점 더 가까이 다가가고 있다는 것이다. 우리의 주머니와 귀, 자동차와 기계 속으로. 지금 온 디바이스 AI가 일하고 있는 곳을 살펴보는 일은, 곧 다가올 몇 년 사이에 그 자리가 얼마나 더 넓어질지를 가늠하는 일이기도 하다.