"챗GPT 때문에 GPU의 지배력이, 더 정확하게는 엔비디아의 지배력이 무너지고 있습니다."

반도체 스타트업 리벨리온의 박성현 대표는 티타임즈와의 인터뷰에서 "특히나 추론에 한해서는 엔비디아의 지배력이 무너지는 시기가 꽤 빨리 올 것"이라며 이같이 말했다. 인공지능 연산을 위한 반도체, GPU 시장의 90% 이상을 점유하고 있는 엔비디아의 주력 반도체, GPU가 다른 반도체로 대체될 것이라는 주장이다.

인공지능 연산은 훈련(training)과 추론(inference) 크게 두 부분으로 나뉜다. 훈련은 말 그대로 다양한 데이터세트를 활용해 인공지능을 훈련하는 작업이다.

추론은 인공지능의 실제 활용이다. 훈련을 마친 인공지능의 성능을 일반 사용자들이 활용할 수 있게 서비스하고, 이용자들이 요구하는 작업을 처리하는 과정이 추론이다. 최근 챗GPT와 같은 인공지능 서비스의 등장으로 추론 연산량이 급격하게 증가하고 있다.

그럼 추론 영역에서 엔비디아의 자리를 빼앗을 반도체는 무엇일까. 바로 AI(인공지능) 전용 반도체, 흔히 NPU(Neural Processing Unit·신경망처리장치)라고 불리는 반도체이다. 인공지능 알고리즘을 계산하는 전용 반도체이다. 업계와 학계에서는 'AI 하드웨어 가속기'라는 표현으로도 불린다. 인공지능 연산을 가속하는 반도체라는 의미다.

GPU와 NPU 모두 AI 하드웨어 가속기 역할을 한다. GPU(Graphics Processing Unit)는 이름 그대로 그래픽 연산을 위해 개발됐지만, 동시에 다양한 연산을 처리하는 특성이 인공지능 연산에도 적합해 그간 AI 가속기 역할을 해왔다. GPU 전문 기업인 엔비디아가 AI 가속기 시장을 장악할 수 있었던 것 역시 이런 이유이다.

하지만 챗GPT로 생성 AI시대가 열리면서 상황이 달라졌다는 게 박 대표의 설명이다. 1억명에 달하는 이용자들이 챗GPT에 쏟아내는 어마어마한 요구량 때문에 AI 가속기로 구축하는 데이터센터에 투입되는 비용도 기하급수적으로 늘어나고 있다. 박 대표는 "하루에 20억, 30억, 1년이면 1조원에 가까운 돈이 (데이터센터에) 들어가고 있다"며 "말 그대로 돈을 불태우면서 서비스를 하는 상황"이라고 말했다.

문제는 이게 시작이라는 점이다. 생성 AI 서비스는 점점 늘어나고 있고, 이용자들의 수도 계속해서 증가한다. 수요를 감당하기 위해 데이터센터에 더 많은 GPU가 탑재돼야 하지만, 가격이 만만치 않다.

엔비디아의 최신 데이터센터용 GPU인 H100 시리즈는 3만달러(약 3900만원) 수준이다. 그런데 데이터센터를 구축하려면 H100이 수백, 수천 장이 투입돼야 한다. 챗GPT를 운영하는 오픈AI(openAI)는 데이터센터 증설을 위해 최근 H100을 1만장, 즉 3억달러(약 3922억원) 어치를 구입했을 정도이다.

박 대표는 이런 상황에 대해 "전기세로, GPU 구입 비용으로, 데이터센터 구축 비용으로 수백억이 투입되는 상황"이라며 "사람을 대체하려 만드는 인공지능이 사람보다 더 비싸지는 역설적인 일이 벌어지고 있는 것"이라고 짚었다.

그래픽 연산용으로 나온 반도체인 GPU를 AI 연산 용도로 전용(轉用)하는 지금의 구조는 한계가 있다는 것이다. 이런 상황에서 GPU의 대안이 될 수 있는 제품이 바로 리벨리온과 같은 회사가 개발하는 AI 반도체이다.

인공지능 연산을 겨냥해 만들어졌기 때문에 상대적으로 도입 비용이 저렴하고, 전기세를 비롯한 운용비용 역시 낮다. 인공지능 연산에 있어서는 효율 역시 더 낫다. 그래서 지금과 같이 인공지능 활용이 가속화하는 상황에서 "사치품이 아닌 필수품"이 될 거란 게 박 대표의 얘기다.

실제로 리벨리온의 AI 반도체 '아톰'은 최근 공개된 AI 반도체 성능테스트 '엠엘퍼프'(MLPerf) 결과 언어모델 인공지능 연산 테스트에서 엔비디아 제품 대비 1.4배, 퀄컴 대비 1.8배 빠른 기록을 보였다. 그래픽을 처리하는 비전 연산 테스트에서도 엔비디아 대비 3배 빠른 성능을 기록했다. 인공지능 연산 영역에서 AI 전용 반도체가 GPU 대비 더 나은 성능을 낼 수 있다는 것을 증명한 셈이다.

※ 박성현 리벨리온 대표가 설명하는 챗GPT 등장으로 인한 반도체 시장의 변화에 대해 더 듣고 싶으시면 영상을 참고해 주세요. '티타임즈TV'에 오시면 더 많은 영상을 보실 수 있습니다.