폰 노이만 아키텍쳐에서 제로샷 모델링 구현의 한계

폰 노이만 아키텍쳐에서 제로샷 모델링 구현의 한계

 

컴퓨터의 기본 구조가 AI에게 맞지 않는 이유

우리가 매일 사용하는 컴퓨터는 1945년에 존 폰 노이만이라는 과학자가 설계한 방식을 따르고 있다. 이 방식의 핵심은 간단하다. 컴퓨터의 두뇌인 CPU가 명령어를 하나씩 가져와서 실행하고, 필요한 데이터는 메모리라는 저장 공간에서 꺼내 쓴다. 마치 요리사가 레시피를 한 줄씩 읽으면서 냉장고에서 재료를 꺼내 요리하는 것과 비슷하다.

 

그런데 최근 각광받는 인공지능, 특히 제로샷 학습이라는 기술은 이런 방식과 잘 맞지 않는다. 제로샷 학습이란 AI가 한 번도 본 적 없는 새로운 문제를 풀 수 있는 능력을 말한다. 예를 들어 ChatGPT에게 "스페인어로 편지를 써줘"라고 하면, 누가 특별히 그렇게 가르치지 않았어도 척척 해낸다. 이런 능력을 가진 AI는 엄청나게 많은 지식을 품고 있어야 하는데, 문제는 기존 컴퓨터 구조가 이를 효율적으로 다루기 어렵다는 것이다.

 

가장 큰 문제는 데이터를 옮기는 데 너무 많은 시간이 걸린다는 것이다. 요즘 대형 AI 모델은 수백 기가바이트의 정보를 저장하고 있다. 이는 고화질 영화 100편 정도의 용량이다. AI가 질문 하나에 답하려면 이 엄청난 양의 데이터를 메모리에서 CPU로 계속 가져와야 한다. 마치 도서관에서 책을 읽으려는데, 책장이 집에서 멀리 떨어진 창고에 있어서 책 한 줄 읽을 때마다 창고를 왔다 갔다 해야 하는 것과 같다. 아무리 빠른 차를 타고 가도 이동 시간 자체가 너무 오래 걸린다.

 

실제로 최신 GPU라는 고성능 컴퓨터 부품도 초당 약 1테라바이트, 즉 1,000기가바이트의 데이터밖에 옮기지 못한다. 대형 AI 모델이 답변 하나를 만들 때마다 수백 기가바이트를 읽어야 하니, 실제 계산보다 데이터를 옮기는 데 시간을 더 많이 쓰게 된다. 이것이 바로 "폰 노이만 병목"이라고 부르는 문제다. 아무리 CPU가 빨라도 데이터가 제때 도착하지 않으면 쓸모가 없다.

반응형

한 번에 한 가지만 할 수 있는 컴퓨터

폰 노이만 방식의 또 다른 문제는 기본적으로 일을 순서대로 하나씩 처리한다는 것이다. 우리가 사용하는 컴퓨터는 명령어를 한 줄씩 읽고 실행한다. 물론 현대 컴퓨터는 여러 기술을 동원해 동시에 여러 일을 하는 것처럼 보이게 만들지만, 근본적으로는 순차적인 구조다.

 

그런데 AI 모델, 특히 요즘 많이 쓰이는 신경망은 본질적으로 모든 것이 동시에 일어나야 한다. 사람의 뇌를 생각해보자. 뇌에는 약 860억 개의 뉴런이 있고, 이들은 동시다발적으로 신호를 주고받는다. 한 번에 하나의 뉴런만 작동하는 것이 아니다. AI 신경망도 마찬가지다. 수백만, 수억 개의 인공 뉴런이 동시에 계산을 수행해야 제대로 작동한다.

 

하지만 폰 노이만 컴퓨터는 이런 동시다발적인 계산을 표현하기 위해 엄청나게 많은 순차적 명령어로 쪼개야 한다. 마치 100명이 동시에 해야 할 일을 한 사람이 순서대로 처리하는 것과 같다. 당연히 비효율적이다. 물론 GPU라는 그래픽 카드를 이용하면 많은 계산을 동시에 할 수 있지만, GPU도 결국 기존 컴퓨터 구조의 틀 안에 있어서 한계가 있다. 특히 큰 AI 모델은 하나의 GPU에 다 들어가지 않아서 여러 개를 연결해 사용해야 하는데, GPU끼리 데이터를 주고받는 것도 또 다른 병목이 된다.

 

전기세 폭탄

제로샷 AI 모델의 실용화를 가로막는 또 다른 큰 문제는 전력 소비다. 폰 노이만 구조에서는 데이터를 이동시킬 때마다 전기가 소비된다. 그런데 연구 결과를 보면, 데이터를 옮기는 데 쓰는 전기가 실제 계산에 쓰는 전기보다 훨씬 많다. 메모리에서 데이터 하나를 읽어오는 것이 단순한 계산을 하는 것보다 수백 배 더 많은 에너지를 필요로 한다.

 

ChatGPT 같은 대형 AI 서비스를 생각해보자. 하루에 수백만 명이 질문을 하고, 매번 수백 기가바이트의 데이터를 메모리에서 읽어야 한다. 한 번 질문에 답하는 데 몇 와트시(W/h)의 전력이 들고, 이를 대규모로 서비스하면 엄청난 전기료가 나온다. 실제로 대형 AI 회사들의 데이터센터는 전력 소비가 어마어마하며, 이를 식히기 위한 냉각 비용도 만만치 않다. 이는 단순히 돈 문제가 아니라 환경 문제이기도 하다.

 

더 심각한 것은 스마트폰이나 노트북 같은 개인 기기에서 이런 AI를 실행하는 것이 거의 불가능하다는 점이다. 배터리가 금방 닳을 뿐만 아니라, 기기 자체가 뜨거워져서 제대로 작동하지 못한다. 그래서 대부분의 AI 서비스는 클라우드, 즉 멀리 있는 데이터센터의 컴퓨터를 사용한다. 이는 인터넷 연결이 필수적이고, 응답 시간이 느려지며, 개인정보 보호 문제도 생긴다.

 

고정된 지식과 실시간 학습의 어려움

폰 노이만 컴퓨터는 프로그램과 데이터를 명확히 구분한다. 프로그램은 실행할 명령어들이고, 데이터는 처리할 대상이다. 하지만 진짜 똑똑한 AI라면 이 둘이 구분되지 않아야 한다. 사람의 뇌처럼 끊임없이 새로운 것을 배우고 적응할 수 있어야 한다.

 

현재의 제로샷 AI는 이렇게 작동한다. 먼저 개발자들이 엄청나게 많은 데이터로 몇 달 동안 학습을 시킨다. 그러면 AI가 지식을 습득한다. 이후 우리가 사용할 때는 그 지식이 고정된 채로 있다. 새로운 것을 실시간으로 배우지 못한다. 마치 학생 시절에 배운 것만 평생 사용하고, 더 이상 공부하지 않는 것과 같다.

 

물론 AI가 대화 중에 문맥을 이해하고 적응하는 것처럼 보이기도 한다. 예를 들어 "이 내용을 요약해줘"라고 하면서 긴 글을 보여주면, AI가 그 글을 읽고 요약한다. 하지만 이것은 진짜 학습이 아니다. 그냥 주어진 글을 임시로 기억하고 있다가 처리하는 것이다. 진정한 의미의 실시간 학습, 즉 새로운 개념을 완전히 이해하고 자기 것으로 만드는 능력은 폰 노이만 구조에서 구현하기 매우 어렵다. 왜냐하면 학습은 AI 모델 내부의 수십억 개 숫자들을 조금씩 조정하는 과정인데, 이를 실시간으로 하려면 계산량과 메모리 사용량이 폭발적으로 증가하기 때문이다.

 

불필요한 계산을 줄이지 못하는 문제

사람의 뇌가 효율적인 이유 중 하나는 필요한 부분만 작동시킨다는 것이다. 어떤 문제를 풀 때 뇌 전체가 활성화되는 것이 아니라, 그 문제와 관련된 일부 영역만 열심히 일한다. 나머지는 쉬고 있다. 이를 희소성이라고 부른다. 이런 방식 덕분에 뇌는 적은 에너지로도 복잡한 일을 할 수 있다.

 

AI 모델도 이상적으로는 이렇게 작동해야 한다. 특정 질문에 답할 때 모델의 모든 부분이 필요한 것은 아니다. 관련된 일부만 사용하면 훨씬 빠르고 효율적일 것이다. 하지만 폰 노이만 컴퓨터에서는 이런 선택적 실행이 매우 어렵다.

 

컴퓨터는 "만약 이 조건이면 A를 하고, 아니면 B를 해"라는 식의 조건문을 실행할 수 있다. 하지만 이런 조건문이 많아지면 컴퓨터가 다음에 무엇을 할지 예측하기 어려워지고, 효율이 급격히 떨어진다. 또한 필요한 데이터만 메모리에서 가져오려 해도, 어디에 무엇이 있는지 불규칙하면 오히려 더 느려진다. 그래서 대부분의 AI는 그냥 모든 계산을 다 해버린다. 필요 없는 계산도 포함해서 말이다. 이는 시간과 전력 낭비로 이어진다.

 

최근에는 이 문제를 해결하기 위해 "전문가 혼합" 같은 새로운 AI 구조가 제안되고 있다. 여러 개의 작은 전문 모델을 만들어놓고, 상황에 따라 필요한 전문가만 불러서 사용하는 방식이다. 하지만 폰 노이만 컴퓨터에서 이를 효율적으로 구현하는 것은 여전히 어려운 과제다. 어떤 전문가를 사용할지 결정하고, 해당 전문가의 데이터를 메모리에서 가져오는 과정이 또 다른 오버헤드를 만들어낸다.

 

 

미래를 향한 새로운 시도들

이런 한계들을 극복하기 위해 과학자들은 폰 노이만 구조를 벗어난 새로운 컴퓨터를 연구하고 있다. 가장 주목받는 것은 뉴로모픽 컴퓨팅이다. 이는 사람의 뇌처럼 작동하는 컴퓨터를 만드는 것이다. 메모리와 프로세서가 따로 있는 것이 아니라 하나로 통합되어 있어서, 데이터를 이리저리 옮길 필요가 없다.

 

또 다른 접근은 인메모리 컴퓨팅이다. 데이터를 다른 곳으로 가져와서 계산하는 것이 아니라, 데이터가 저장된 바로 그 자리에서 계산을 수행하는 방식이다. 마치 도서관에서 책을 집으로 가져와 읽는 것이 아니라, 도서관 안에서 바로 읽는 것과 같다. 이렇게 하면 데이터 이동이 최소화되어 훨씬 빠르고 에너지 효율적이다.

 

아날로그 컴퓨팅도 연구되고 있다. 지금까지 컴퓨터는 0과 1로만 정보를 표현하는 디지털 방식이었다. 하지만 자연 현상을 이용해 연속적인 값으로 계산하는 아날로그 방식을 쓰면, 특정 종류의 AI 계산을 훨씬 효율적으로 할 수 있다. 옛날 LP판 같은 아날로그 기술을 첨단 AI에 접목하는 셈이다.

 

하지만 이런 새로운 기술들은 아직 연구 단계에 있다. 실제로 만들기도 어렵고, 프로그래밍하는 방법도 확립되지 않았다. 무엇보다 정확도 문제가 있다. 디지털 컴퓨터는 오차가 거의 없지만, 새로운 방식들은 작은 오차가 발생할 수 있다. AI 계산에서 작은 오차가 얼마나 큰 문제가 될지 아직 확실하지 않다.

 

그래서 당분간은 폰 노이만 컴퓨터를 계속 사용하면서, 소프트웨어적으로 효율을 높이는 연구가 주로 이루어질 것이다. AI 모델을 더 작게 만들거나, 덜 정밀한 숫자를 사용해 크기를 줄이거나, 큰 모델의 지식을 작은 모델로 옮기는 등의 방법이 활발히 연구되고 있다. 또한 어텐션 메커니즘이라는 AI의 핵심 기술을 더 효율적으로 만드는 연구도 진행 중이다.

 

결국 진정으로 똑똑한 AI를 만들려면 하드웨어와 소프트웨어를 함께 다시 생각해야 한다. 80년 전 폰 노이만이 설계한 컴퓨터 구조는 당시로서는 혁명적이었고, 지금까지 훌륭하게 작동해왔다. 하지만 AI 시대에는 새로운 컴퓨터 구조가 필요하다. 마치 자동차가 발명되면서 마차길이 아닌 고속도로가 필요했던 것처럼, AI를 위한 새로운 컴퓨팅의 길을 만들어야 할 때다.