챗GPT 열풍에 HBM이 주목 받는 까닭

[아이뉴스24 민혜정 기자] 인공지능(AI) 챗봇 챗GPT 열풍이 불면서 고대역폭메모리(HBM)이 주목받고 있다. 높은 용량 확보와 추론에서 이점이 있다는 분석이다.

AI 전문가인 정인성 작가는 14일 SK하이닉스 뉴스룸을 통해 "HBM은 일반 PC용 D램과는 매우 구분되는 장점이 있다"며 "D램을 여러 개 적층했으므로 기반 면적당 높은 용량을 확보할 수 있다"고 밝혔다.

HBM은 여러 개의 D램을 수직으로 연결해 기존 D램보다 데이터 처리 속도를 혁신적으로 끌어올린 제품이다.

정 작가는 "HBM은 좁은 면적에 여러 D램의 데이터 연결 통로를 촘촘하게 밀집시키는 것"이라며 "4차선 도로를 짓는 대신 4개 층을 가진 1차선 도로를 만드는 셈"이라고 강조했다.

이어 "메모리 회사들 역시 그래픽처리장치(GPU)가 요구하는 고대역폭 메모리를 GDDR(Graphics Double Data Rate)이란 이름으로 꾸준히 공급해 왔다"며 "여기에 그래픽 처리를 능가할 정도로 높은 메모리 용량을 요구하게 되면서 HBM이 더욱 빛을 보게 됐다"고 덧붙였다.

정 작가는 HBM은 학습뿐만 아니라 추론에서도 경쟁력이 있다고 설명했다.

정 작가는 "최근 챗GPT 등 초거대 언어 모델이 대두하기 시작했는데, 이들은 추론에도 매우 큰 메모리가 필요하다"며 "일반적으로 추론용 GPU는 엔비디아 T4 등 학습용 GPU보다는 메모리가 적은 GPU 모델이 사용되지만 초거대 모델의 경우 8~16GB 정도의 메모리로는 추론을 돌릴 수 없다"고 말했다.

HBM은 비용적인 측면에서도 강점이 많을 수 있다.

정 작가는 "인공신경망 기반의 프로그램, 인공지능은 메모리 공간을 크게 차지할 뿐만 아니라 주어진 시간 내에 접근해야 하는 메모리의 총량도 압도적으로 컸다"며 "본래 메모리에 수백~수천만원의 지출을 하는 것은 어마어마한 비용이었지만, 부가가치가 높은 인공지능 입장에서는 HBM 가격은 고작 수백만원에 불과하다"고 말했다.