온디바이스 AI의 빛과 그림자

온디바이스 AI의 빛과 그림자

― 무엇을 얻고, 무엇을 내주는가

 

인공지능이 어디에서 계산되는가는 오랫동안 사용자에게 중요하지 않은 문제였다. 질문을 던지면 답이 돌아왔고, 그 사이에 데이터가 어느 나라의 어느 데이터센터를 다녀왔는지는 관심 밖이었다. 그러나 최근 몇 년 사이 이 질문은 산업의 중심 의제로 올라섰다. 시장조사기관 카운터포인트리서치는 생성형 AI를 기기 자체에서 실행할 수 있는 스마트폰의 비중이 2025년 36%에서 2026년 45%로 늘고, 2027년에는 전체 출하량의 절반을 넘어설 것으로 전망했다. 계산의 무게중심이 클라우드에서 손안의 기기로 이동하고 있다는 뜻이다. 이 흐름을 냉정하게 평가하려면 온디바이스 AI가 실제로 무엇을 해결하고 무엇을 해결하지 못하는지를 나누어 볼 필요가 있다.

 

가장 분명한 이점은 지연시간의 제거다. 클라우드 추론은 요청과 응답이 네트워크를 왕복해야 하므로, 회선 상태나 서버 부하에 따라 응답 시간이 들쭉날쭉해진다. 기기 안에서 계산이 끝나면 이 왕복 자체가 사라지고, 자율주행이나 실시간 통번역처럼 수십 밀리초의 지연도 치명적인 영역에서 결정적인 차이를 만든다. 같은 이유로 오프라인 신뢰성도 확보된다. 지하 주차장이나 비행기 안, 통신이 불안정한 산업 현장에서도 기능이 멈추지 않는다는 점은 단순한 편의를 넘어 시스템의 가용성 문제다.

 

두 번째 이점은 프라이버시와 규제 대응이다. 지문과 홍채, 음성 녹음, 의료 영상처럼 민감한 데이터가 기기를 벗어나지 않으면 전송 구간에서의 유출 위험과 외부 저장에 따르는 법적 부담이 함께 줄어든다. 유럽연합의 일반개인정보보호법이나 미국의 의료정보보호법처럼 데이터의 이동과 보관을 엄격히 규율하는 제도 아래에서, 원본을 아예 내보내지 않는 설계는 사후적 보안 조치보다 근본적인 해법에 가깝다. 여기에 비용 문제도 얹힌다. 추론 요청 하나하나가 과금되는 클라우드 구조와 달리 온디바이스 추론은 한계비용이 사실상 0에 가깝고, 전력 부담 역시 중앙 데이터센터에서 분산된 단말로 옮겨간다.

AI활용

반응형

이러한 장점이 더 이상 이론에 머물지 않는다는 점은 애플의 사례가 보여준다. 애플이 2025년 공개한 기술 보고서에 따르면, 이 회사는 약 30억 개 매개변수 규모의 온디바이스 모델을 자사 실리콘 위에서 구동하기 위해 트랜스포머 층을 두 블록으로 나누어 키·값 캐시를 공유하게 하고, 가중치를 2비트까지 압축하는 양자화 인식 학습을 적용했다. 그 결과 이 소형 모델은 자신보다 큰 공개 모델들과 견줄 만한 성능을 보였다. 제약이 극심한 환경에서도 쓸 만한 품질이 나온다는 사실이 확인된 셈이다.

 

그러나 바로 그 최적화의 정교함이 역설적으로 한계를 드러낸다. 모바일 환경의 온디바이스 대규모 언어모델 배포를 검토한 최근 서베이 연구는 메모리 대역폭, 발열 허용치, 배터리 용량, 이기종 가속기, 런타임 파편화를 실질적인 제약으로 지목한다. 무거운 모델을 계속 돌리면 배터리는 빠르게 소모되고, 칩 온도가 임계점에 이르면 성능을 스스로 낮추는 발열 제한이 걸린다. 더 근본적인 문제는 자기회귀 방식의 토큰 생성이 연산량보다 메모리 대역폭에 묶여 있다는 점이다. 실제 엣지 추론 벤치마크에서는 40 TOPS급 신경망 처리장치가 초당 7토큰 남짓한 생성 속도에 그쳤다. 제조사가 내세우는 최대 연산 성능 수치와 사용자가 체감하는 속도 사이에는 이렇게 큰 간극이 존재한다.

 

정확도의 대가도 치러야 한다. 압축과 양자화는 모델의 충실도를 떨어뜨리며, 애플이 압축으로 잃은 품질을 되찾기 위해 저계수 어댑터를 따로 도입해야 했다는 사실 자체가 그 손실이 실재함을 방증한다. 소형 모델은 긴 맥락을 다루거나 여러 단계의 추론이 필요한 과제, 최신 지식이 요구되는 질문 앞에서 특히 취약하며, 그럴듯하지만 틀린 답을 내놓을 위험이 상대적으로 크다. 클라우드 모델이라면 뒤에서 검색이나 검증 도구가 받쳐 주지만, 고립된 기기 안에서는 그 보완 장치를 기대하기 어렵다. 결국 출력의 진위를 가려내는 부담이 사용자에게 더 무겁게 돌아온다.

 

운영의 어려움도 만만치 않다. 성능을 끌어내려면 신경망 처리장치의 구조, 메모리 대역폭, 발열 특성에 맞추어 커널과 메모리 배치를 개별적으로 조정해야 하는데, 이는 기기 종류만큼 최적화 작업이 늘어난다는 뜻이다. 모델을 갱신하거나 연합학습으로 개선할 때도 동기화와 데이터 분포 변화 관리라는 별도의 설계 과제가 따라붙는다. 클라우드에서라면 서버 한 곳을 바꾸면 끝날 일이, 수억 대의 단말에 흩어진 순간 전혀 다른 난이도의 문제가 된다.

 

따라서 온디바이스 AI는 클라우드를 대체하는 기술이라기보다 역할을 재배치하는 기술로 이해하는 편이 정확하다. 즉각성과 기밀성이 중요한 작업은 기기에서 처리하고, 방대한 지식과 복잡한 추론이 필요한 작업은 서버로 넘기는 혼합 구조가 현실적인 해답이다. 애플이 온디바이스 모델과 프라이빗 클라우드 컴퓨트 모델을 나란히 운영하는 것도 같은 판단의 결과다. 다만 한 가지는 남는다. 카운터포인트리서치는 생성형 AI를 지원하는 기기와 사용자가 실제로 그 기능을 쓰는 정도 사이에 여전히 뚜렷한 간극이 있다고 지적했다. 계산이 어디에서 일어나는지는 기술의 문제이지만, 그렇게 얻은 결과를 어디까지 믿고 어떻게 검증할 것인지는 여전히 사람의 몫으로 남아 있다.