챗GPT의 등장으로 인공지능(AI)은 디지털 시대에 거스를 수 없는 대세가 됐다. AI는 스스로 판단해 작업을 최적화, 효율화하고 많은 분야에서 에너지를 절감할 것으로 예상된다. 하지만 AI 스스로는 개발, 구축, 운영에 천문학적인 비용이 들어가며, 전력 소모가 극심하다. 모든 업계가 환경·사회·지배구조(ESG) 경영을 부르짖는 시대를 이끄는 AI가, 정작 엄청난 에너지를 소비하는 역설적인 상황이다.

●SKT ‘에이닷’ GPU 1040개 사용

초거대 AI는 복잡한 연산을 동시다발로 하기에 고성능 처리장치를 필요로 한다. 그런데 고성능 처리장치는 전기를 많이 쓴다. 초거대 AI 운용엔 대체로 중앙처리장치(CPU)가 아닌 그래픽처리장치(GPU)가 쓰인다. AI반도체 시장점유율 90% 이상을 차지하는 엔비디아의 최신 GPU ‘A100’의 소비전력은 모델에 따라 300~400W(와트)이며 시간당 전력 소비량은 300~400Wh(와트시)이다. 초거대 AI 운용엔 GPU가 수백~수천개 사용된다. SK텔레콤의 초거대 AI 서비스 ‘에이닷’의 기반인 슈퍼컴퓨터 ‘타이탄’엔 A100이 1040개 들어간다. 챗GPT 구동엔 A100 1만개가 사용되는 것으로 알려졌다.

초거대 AI 운용에 필수인 인터넷데이터센터(IDC)도 대표적인 고전력 시설이다. 산업통상자원부의 지난달 자료에 따르면 IDC 한 개당 평균 연간 전력 사용량은 25GWh(기가와트시)로, 4인가구 기준 6000가구가 사용하는 전력량과 같은 수준이다.

애초에 AI 연산용이 아니라 그래픽 처리 속도를 높이기 위해 만들어진 GPU는 데이터를 한 번에 대량으로 처리할 수 있지만, 값이 비싸고 전력도 많이 소비한다. 이에 신경망처리장치(NPU)라는 AI 전용 반도체 개발이 GPU의 문제를 해결할 대안으로 주목받았다. SK텔레콤이 지분 50%를 보유한 사피온이 2020년 발표한 NPU ‘X220’은 지난해 AI 구동 성능 테스트에서 엔비디아의 ‘A2’를 뛰어넘은 바 있다. 그러면서도 65W에 불과한 소비전력은 고성능 CPU들과 비교해도 적은 축에 들어간다. 사피온은 올해 전작 대비 성능을 약 4배 향상시킨 신제품 ‘X330’을 출시할 예정이다. KT와 ‘AI 드림팀’을 이룬 반도체 회사 리벨리온도 ‘아톰’이라는 NPU를 개발했다. 아톰 역시 소비전력이 60~150W에 불과하며 챗GPT의 원천 기술인 ‘트랜스포머’ 계열 자연어 처리 기술을 지원한다.

개발 환경 등 현재 AI 생태계 자체가 GPU 체제에서 세워진 만큼 NPU 시장이 짧은 시일 내에 활성화되긴 어려울 것으로 보인다. 이에 GPU와 함께 칩셋을 이루며 방대한 데이터를 빠르게 처리하는 고성능 D램인 고대역폭메모리(HBM)가 AI 반도체의 효율을 극대화할 수 있는 방책으로 떠올랐다.

●침체된 반도체 시장 훈풍 기대감

SK하이닉스의 3세대 ‘HBM3’ 제품은 A100에 탑재되고 있으며, 엔비디아의 차기 GPU 신제품에 4세대 ‘HBM4’가 적용될 전망이다. 삼성전자는 HBM에 AI 프로세서를 결합한 지능형메모리(HBM-PIM) 제품을 AMD의 최신 GPU 제품에 공급하고 있다. 삼성전자에 따르면 HBM-PIM을 활용하면 기존 GPU 가속기 대비 평균 성능이 2배 증가하고 에너지 소모는 50% 감소한다. 업계에선 이런 고성능 D램이 얼어붙은 메모리반도체 시장의 ‘구원투수’ 역할을 할 수 있다고 보고 있다.