폰 노이만 아키텍처에서 구현되는 NPU의 한계점

폰 노이만 아키텍처에서 구현되는 NPU의 한계점

 

현대 인공지능의 급격한 발전과 함께 Neural Processing Unit(NPU)은 딥러닝 및 머신러닝 작업을 가속화하기 위한 필수적인 하드웨어로 자리잡았다. 그러나 NPU가 기존의 폰 노이만 아키텍처 기반 시스템에 통합될 때, 근본적인 구조적 불일치로 인해 여러 한계점이 드러난다. 1945년 존 폰 노이만이 제안한 이 아키텍처는 프로그램 내장 방식과 순차적 명령 실행을 특징으로 하며, 70년 이상 컴퓨팅의 기반이 되어왔다. 하지만 대규모 병렬 연산과 데이터 집약적 처리를 요구하는 신경망 작업의 특성은 폰 노이만 구조의 설계 철학과 근본적으로 충돌한다.

 

폰 노이만 아키텍처의 가장 치명적인 한계는 메모리와 프로세서 사이의 데이터 전송 속도가 제한된다는 점이다. 이른바 '폰 노이만 병목(Von Neumann bottleneck)'으로 알려진 이 현상은 NPU 환경에서 더욱 심각하게 나타난다. IEEE의 2019년 연구에 따르면, 딥러닝 작업의 경우 연산 시간보다 데이터 이동 시간이 전체 작업 시간의 60-70%를 차지하는 것으로 나타났다. NPU는 초당 수조 회의 연산을 수행할 수 있지만, 메모리 대역폭이 이를 따라가지 못하면 NPU의 연산 유닛들은 데이터를 기다리며 유휴 상태에 놓이게 된다. 특히 Transformer 모델과 같은 현대적 신경망 아키텍처는 수십억 개의 파라미터를 처리해야 하는데, Google의 TPU 연구팀이 발표한 2020년 논문에서는 메모리 접근 지연이 전체 추론 성능을 40% 이상 저하시킨다고 보고했다.

AI활용

반응형

에너지 효율성 측면에서도 심각한 문제가 존재한다. 폰 노이만 구조에서 데이터는 메모리와 프로세서 사이를 끊임없이 이동해야 하며, MIT의 2017년 연구에 따르면 DRAM에서 데이터 한 바이트를 읽어오는 데 필요한 에너지는 해당 데이터로 32비트 부동소수점 연산을 수행하는 데 드는 에너지의 약 200배에 달한다. ARM의 2021년 백서는 폰 노이만 기반 NPU가 이상적인 인메모리 컴퓨팅 방식에 비해 약 100배 더 많은 에너지를 소비한다고 지적했다. 모바일 기기나 엣지 디바이스에서 이러한 에너지 비효율은 배터리 수명과 발열 문제를 야기한다.

 

메모리 계층 구조의 복잡성도 중요한 제약이다. 신경망의 가중치와 활성화 값들은 크기가 매우 크기 때문에 캐시에 모두 담기 어렵고, Stanford 대학의 2018년 연구는 일반적인 CNN 작업에서 캐시 미스로 인한 성능 저하가 평균 35%에 달한다고 보고했다. 또한 CPU, GPU, NPU가 동일한 메모리 버스를 공유하는 구조에서는 메모리 대역폭 경쟁이 발생하며, 이는 특히 멀티태스킹 환경에서 예측 불가능한 성능 변동을 초래한다.

 

프로그래밍 모델의 불일치도 무시할 수 없는 문제다. 폰 노이만 아키텍처는 순차적 명령 실행을 기본으로 하는 반면, 신경망은 본질적으로 병렬적이고 데이터플로우 중심적이다. NVIDIA의 2020년 기술 보고서는 CUDA와 같은 병렬 프로그래밍 모델조차도 폰 노이만 구조의 제약으로 인해 이론적 성능의 60-70%만을 달성할 수 있다고 밝혔다. 이러한 패러다임의 차이는 NPU를 프로그래밍하고 최적화하는 과정을 복잡하게 만들며, 개발자들은 특수한 프레임워크와 컴파일러를 사용해야 한다.

 

확장성 측면에서도 한계가 명확하다. GPT-3와 같은 대규모 모델은 1,750억 개의 파라미터를 가지며, 폰 노이만 구조에서 이를 처리하려면 여러 NPU를 연결해야 하는데, 프로세서 간 데이터 전송은 온칩 데이터 이동보다 수천 배 더 느리고 에너지 집약적이다. Berkeley 대학의 2021년 연구는 폰 노이만 기반 시스템에서 8개 이상의 NPU를 연결하면 통신 오버헤드로 인해 수익 체감이 급격히 발생한다고 보고했다.

 

결론적으로 폰 노이만 아키텍처에서 구현되는 NPU는 메모리 병목현상, 에너지 비효율, 프로그래밍 복잡성, 확장성 제약 등 여러 근본적인 한계에 직면해 있다. 이러한 한계들은 모두 연산과 메모리가 분리된 폰 노이만 구조의 본질적 특성에서 비롯된다. 이를 극복하기 위해 인메모리 컴퓨팅, 뉴로모픽 칩, 3D 적층 메모리 등 새로운 아키텍처들이 연구되고 있으며, IBM의 TrueNorth, Intel의 Loihi와 같은 뉴로모픽 프로세서들은 폰 노이만 구조를 벗어나 뇌의 구조를 모방한 설계를 채택하고 있다. 70년 이상 컴퓨팅을 지배해온 폰 노이만 구조는 범용 컴퓨팅에서는 여전히 유효하지만, 신경망 처리라는 특화된 영역에서는 그 한계가 명확해지고 있으며, 향후 NPU 설계는 메모리와 연산의 융합, 병렬성의 극대화, 에너지 효율성 향상을 중심으로 진화해야 할 것이다.