온디바이스 AI: 지능이 손 안으로 들어오다
온디바이스 AI: 지능이 손 안으로 들어오다
한동안 인공지능은 멀리 있는 것이었다. 데이터센터의 서버실, 수천 킬로미터 너머의 클라우드, 냉각팬이 쉼 없이 돌아가는 거대한 기계들의 집합소에 AI는 살고 있었다. 사용자가 스마트폰에 질문을 던지면 그 신호는 광섬유를 타고 바다를 건너 어딘가의 서버에 닿았고, 거기서 계산을 마친 뒤 다시 되돌아왔다. 우리는 그 과정을 '연결'이라 불렀고, 네트워크가 끊기면 AI도 침묵했다.
그러나 이제 지형이 바뀌고 있다. 온디바이스 AI(On-Device AI)는 인공지능의 연산을 클라우드가 아닌 기기 자체에서 수행하는 기술이다. 스마트폰, 노트북, 웨어러블 기기, 자동차, 산업용 로봇 등 엣지(edge)에 위치한 단말기들이 이제 직접 추론(inference)을 수행한다. 네트워크 연결 없이도, 서버의 허락 없이도, AI는 작동한다.
이 변화를 가능하게 한 것은 반도체 기술의 진보다. 퀄컴의 스냅드래곤, 애플의 A 시리즈 및 M 시리즈 칩, 삼성의 엑시노스, 미디어텍의 디멘시티 등 최신 모바일 SoC(System on Chip)들은 NPU(Neural Processing Unit)를 내장하고 있다. NPU는 딥러닝 연산에 특화된 프로세서로, 행렬 곱셈과 같은 AI 추론의 핵심 연산을 CPU나 GPU보다 훨씬 낮은 전력으로 빠르게 처리한다. 애플 A17 Pro 칩에 내장된 NPU는 초당 35조 회 이상의 연산을 수행하며, 이 수치는 불과 수년 전의 클라우드 서버 성능과 비교해도 손색이 없다.
온디바이스 AI가 주목받는 이유는 단순히 속도 때문만이 아니다. 그 핵심에는 프라이버시와 보안이라는 근본적 가치가 자리하고 있다. 클라우드 기반 AI는 사용자의 음성, 사진, 문서, 대화 내용을 외부 서버로 전송한다. 이 과정에서 데이터는 수많은 취약점에 노출된다. 반면 온디바이스 AI는 데이터가 기기 밖으로 나가지 않는다. 애플이 '프라이버시 보호 AI'를 강조하며 온디바이스 처리를 핵심 가치로 내세우는 것, 구글이 Pixel 기기에서 민감한 기능들을 로컬에서 처리하도록 설계하는 것 모두 이 같은 흐름을 반영한다.
응답 지연(latency) 문제도 온디바이스 전환의 강력한 동인이다. 클라우드 AI는 아무리 빠른 네트워크라도 왕복 지연이 발생한다. 자율주행 자동차가 도로 위 장애물을 인식하는 데 0.1초의 클라우드 응답을 기다릴 수는 없다. 실시간 번역, 증강현실, 산업 현장의 이상 감지, 의료 기기의 생체 신호 분석 등 시간에 극도로 민감한 응용에서 온디바이스 AI는 클라우드의 대안이 아니라 유일한 선택이 된다.
물론 온디바이스 AI에는 한계도 분명하다. 단말기의 메모리와 연산 자원은 클라우드에 비해 제한적이다. GPT-4나 Claude와 같은 초거대 언어모델(LLM)을 스마트폰에서 온전히 구동하기는 여전히 어렵다. 이를 극복하기 위한 기술이 모델 경량화(model compression)다. 지식 증류(knowledge distillation), 가지치기(pruning), 양자화(quantization) 등의 기법을 통해 대형 모델의 능력을 작은 모델에 압축해 넣는 연구가 활발히 진행되고 있다. 메타의 Llama, 마이크로소프트의 Phi, 구글의 Gemma 등 소형 언어모델 계열이 급속도로 성장하는 것도 이 맥락에서 이해할 수 있다.
온디바이스 AI는 또한 클라우드 AI와 대립하는 개념이 아니라 상호 보완하는 구조로 진화하고 있다. 민감하거나 실시간성이 요구되는 작업은 기기에서 처리하고, 복잡한 추론이나 대규모 데이터 분석이 필요한 작업은 클라우드에 위임하는 하이브리드 아키텍처가 자리를 잡아가고 있다. 삼성의 갤럭시 AI, 애플의 Apple Intelligence가 채택한 '온디바이스 우선, 클라우드 보조' 방식이 이 방향을 잘 보여준다.
기술의 이동은 언제나 권력의 이동을 수반한다. AI가 클라우드에만 존재하던 시대, 인공지능의 실질적 소유자는 거대 플랫폼 기업이었다. 그러나 지능이 기기 안으로 들어올수록, AI는 점점 더 개인의 것이 되어간다. 네트워크가 끊겨도, 서버가 다운돼도, 기업이 정책을 바꿔도 사용자의 기기 안에서 AI는 계속 작동한다. 온디바이스 AI가 단순한 기술 진보가 아니라 AI 민주화의 한 축으로 평가받는 이유가 여기에 있다.
지능은 지금 손 안으로 내려오고 있다. 그 무게는 아직 가볍지만, 그 의미는 결코 가볍지 않다.