NPU는 지금 어디에 쓰이고 있을까

NPU는 지금 어디에 쓰이고 있을까

— 스마트폰부터 데이터센터까지, 인공지능을 움직이는 칩

 

NPU가 무엇이며 곱셈-누산 연산을 어떻게 병렬로 처리하는지는 앞서 살펴본 바 있다. 그렇다면 이 칩은 오늘날 우리가 마주하는 인공지능의 어디에 실제로 자리 잡고 있을까. 결론부터 말하면, NPU는 이미 밀리와트 단위의 초소형 센서에서부터 수백 와트를 소모하는 데이터센터 가속기에 이르기까지, 인공지능이 구현되는 거의 모든 지점에 스며들어 있다. 흥미로운 점은 그 쓰임이 대부분 ‘추론(inference)’, 곧 이미 학습을 마친 모델을 실제로 돌려 결과를 내는 단계에 집중되어 있다는 사실이다. 아래에서는 그 자리를 손안의 기기, 개인용 컴퓨터, 데이터센터, 그리고 자동차·로봇의 네 무대로 나누어 살펴본다.

 

대표적으로 적용되어 있는 부분이 스마트폰이다. 애플은 A 시리즈와 M 시리즈 칩에 ‘뉴럴 엔진(Neural Engine)’이라는 NPU를 탑재해 왔으며, 2025년의 A19 Pro는 16코어 구성으로 초당 약 35조 회(35 TOPS)의 연산을 처리한다. 이 뉴럴 엔진은 페이스 ID의 얼굴 인식, 사진 한 장을 위해 여러 프레임을 합성해 화질을 끌어올리는 계산 사진, 기기 안에서 이뤄지는 시리 음성 처리, 그리고 애플 인텔리전스의 글쓰기 도구 같은 기능을 담당한다. 퀄컴의 스냅드래곤 계열에 들어가는 ‘헥사곤(Hexagon)’ NPU도 마찬가지다. 최신 스냅드래곤 8 엘리트 세대의 헥사곤은 언어 모델의 핵심인 트랜스포머 연산을 전담하는 전용 유닛까지 갖춰, 56개가 넘는 AI 모델을 5밀리초 안에 돌릴 수 있다고 알려져 있다. 같은 칩의 CPU가 같은 시간에 13개밖에 처리하지 못하는 것과 뚜렷이 대비된다.

 

특히 주목할 변화는 스마트폰이 이제 70억 개 안팎의 매개변수를 가진 언어 모델을 클라우드에 기대지 않고 기기 안에서 직접 돌릴 만한 성능(약 75 TOPS 수준)에 이르렀다는 점이다. 이는 응답이 빨라지고, 인터넷 연결 없이도 작동하며, 개인 정보가 기기 밖으로 나가지 않아도 된다는 뜻이다. 우리가 매일 무심코 쓰는 실시간 통역, 통화 중 배경 소음 제거, 촬영 직전 자동 장면 인식 같은 기능이 모두 이 NPU 위에서 돌아간다.

AI활용

반응형

그 다음은 컴퓨터다. 마이크로소프트는 이른바 ‘코파일럿+ PC’ 인증을 받으려면 NPU가 최소 40 TOPS를 내야 한다는 기준을 세웠고, 이후 주요 제조사가 앞다투어 이를 웃도는 칩을 내놓았다. 2026년 초 공개된 퀄컴 스냅드래곤 X2 엘리트는 80 TOPS, 인텔의 루나 레이크 세대는 48 TOPS, AMD의 라이젠 AI 300 시리즈는 XDNA 2 구조로 50 TOPS, 애플 M4는 38 TOPS를 각각 표방한다. 이런 성능 덕분에 개인용 노트북에서도 70억~130억 매개변수 규모의 언어 모델을 기존 x86 노트북보다 나은 배터리 효율로 구동할 수 있게 되었다. 개발자는 애플의 코어ML(CoreML), 윈도의 ONNX 런타임·다이렉트ML·윈도 ML 같은 표준 인터페이스를 통해 모델의 연산을 NPU로 흘려보낸다.

 

데이터센터에서도 NPU가 적용되어 있다. . 흔히 인공지능 하면 엔비디아의 GPU를 떠올리지만, 대형 클라우드 사업자들은 저마다 신경망 추론에 특화된 자체 가속기를 만들어 왔다. 그 원조는 구글이 2015년 사내에 처음 도입하고 2018년 클라우드 고객에게 개방한 텐서처리장치(TPU)로, 세대를 거듭하며 여전히 확장되고 있다. 아마존은 학습용 트레이니엄(Trainium)과 추론용 인퍼런시아(Inferentia)를 나누어 운영하며 엔비디아 GPU 대비 최대 절반 수준의 비용 절감을 내세운다. 마이크로소프트는 2026년 1월 추론 전용 칩 ‘마이아 200(Maia 200)’을 선보이면서, 이를 오픈AI의 최신 GPT 모델과 마이크로소프트 365 코파일럿 서비스에 투입해 달러당 성능을 30% 개선하겠다고 밝혔다.

 

이들이 자체 칩을 만드는 이유는 분명하다. 업계 분석에 따르면 실제 서비스를 운영하는 단계에서는 인공지능 연산 비용의 60~80%가 학습이 아니라 추론에 쓰인다. 챗봇과 검색, 번역, 추천처럼 하루에도 수십억 건씩 반복되는 요청을 값싸고 효율적으로 처리하려면, 온갖 작업을 두루 다루는 범용 GPU보다 추론에 회로를 특화한 전용 가속기가 유리하기 때문이다. 이 지점에서는 NPU라는 이름 대신 TPU나 ASIC 가속기로 불리지만, ‘학습된 신경망을 대량으로 빠르게 돌린다’는 설계 원리는 스마트폰 속 NPU와 본질적으로 같다.

 

마지막 분야는 피지컬AI와 사물인터넷 부분이다. 이 분야에서NPU는 ‘실시간’과 ‘안전’이라는 까다로운 조건을 함께 만족시켜야 한다. 2026년 초 텍사스 인스트루먼트가 공개한 차량용 TDA5 칩은 자사 NPU를 통합해 10 TOPS에서 1,200 TOPS까지 확장되며, 와트당 24 TOPS를 웃도는 효율 덕분에 별도의 냉각 장치 없이 첨단 운전자 보조 시스템(ADAS)을 구동한다. 인디 반도체의 iND881 같은 칩은 NPU와 신호처리장치, 이미지 처리장치를 한데 묶어 운전자의 상태를 감시하거나(DMS), 자율주행 로봇과 휴머노이드의 눈 역할을 하는 스마트 카메라에 쓰인다. 엔비디아의 젯슨(Jetson) 모듈은 카메라와 라이다 등 여러 센서의 정보를 실시간으로 융합하는 로봇·차량의 두뇌로 자리 잡았다. 이처럼 물리 세계와 직접 맞닿아 즉각 반응해야 하는 ‘피지컬 AI’ 영역에서, 저전력·저지연으로 추론을 처리하는 NPU는 사실상 필수 부품이 되었다.

 

오늘날 NPU는 인공지능이 구현되는 전 층위에 걸쳐 있다. 밀리와트로 작동하는 사물인터넷 센서, 손안의 스마트폰, 책상 위 노트북, 그리고 수백 와트를 삼키는 데이터센터 가속기까지, 규모는 저마다 달라도 ‘학습된 신경망을 값싸고 빠르게, 그리고 적은 전력으로 돌린다’는 목표는 하나로 이어진다. 인공지능이 실험실의 거대한 모델에서 벗어나 우리 일상 곳곳으로 퍼져 나갈 수 있었던 배경에는, 바로 이 추론 전용 칩의 조용한 확산이 자리하고 있다. 앞으로 인공지능이 더 많은 기기와 서비스에 스며들수록, NPU가 놓이는 자리 또한 그만큼 넓어질 것이다.