삼성전자가 인공지능(AI)용 고대역폭메모리(HBM)의 5세대 기술인 '12단 HBM3E'를 업계 처음으로 개발했다고 알렸다. 몇 시간 전 미국 반도체 회사 마이크론은 8단 HBM3E를 양산한다며 3월 삼성전자와 같은 사양의 12단 HBM3E 샘플을 고객사에 제공한다고 깜짝 발표했다. 27일 하루 동안 한미 두 나라 반도체 업계에 굵직한 소식이 잇따라 나온 것. 여기에 SK하이닉스가 지난해 일찌감치 약속했던 올 상반기 HBM3E 양산 시기가 다가오면서 전 세계 반도체 회사들이 AI 시장 규모가 빠르게 커지는 것과 함께 차세대 먹거리로 떠오른 HBM 시장에서 주도권을 잡기 위해 치열하게 경쟁하고 있다.
삼성전자가 상반기 중 내놓겠다고 알린 36기가바이트(GB) 12단 HBM3E는 기존 HBM3보다 대역 폭과 용량을 50% 이상 늘렸다. 회사 관계자는 "서버 시스템에 적용하면 8단 HBM3보다 AI 학습 훈련 속도가 34% 향상되고 추론 AI는 최대 11.5배 많은 서비스가 가능할 것"이라고 봤다.
앞서 마이크론은 홈페이지에 "8단 HBM3E 양산을 시작한다"며 "(신제품은) 올해 2분기 출하되는 엔비디아의 AI용 GPU H200에 들어갈 것"이라고 밝혔다. 마이크론은 기존 경쟁 제품보다 30% 적은 전력을 소비한다고 강조했다. SK하이닉스도 곧 고객사 인증을 끝마쳐 8단 HBM3E 양산에 돌입할 것으로 알려졌다.
AI 시장 규모가 빠르게 커지면서 몸값이 가장 많이 오른 회사는 그래픽처리장치(GPU)를 설계하는 미국 반도체 업체 엔비디아다. 중앙처리장치(CPU) 시장에서 인텔, AMD 등이 각축을 벌이는 것과 달리 GPU 시장은 엔비디아가 80% 이상을 독점한다. 단순 계산을 대규모로 처리해 답을 내는 생성형 AI 특성상 병렬 연산에 안성맞춤인 GPU가 필요한데 엔비디아는 게임용 GPU를 주력 사업으로 했던 2006년부터 AI 프로그래밍 소프트웨어 쿠다(CUDA)를 무료 배포해 독보적 생태계를 만들었다. 빅테크 기업의 개발자 대부분이 이 쿠다로 AI 프로그램을 배웠고 짜왔기 때문에 반도체 업계는 비싼 가격, 낮은 전성비(전력 가성비) 등 엔비디아 제품의 많은 단점에도 당분간 독점 구조를 깨긴 어렵다고 보고 있다.
메모리 반도체 회사들의 각축전은 이런 배경에서 시작됐다. HBM은 연산에 필요한 각종 정보를 GPU에 보내주고 결괏값을 받아 다시 저장하는데 D램을 수직으로 쌓아 저장 용량과 속도를 획기적으로 개선했다. SK하이닉스가 2013년 1세대(HBM1), 2016년 2세대(HBM2), 2019년 3세대(HBM2E)를 세계에서 처음 개발했을 때 시장에서 큰 반향이 없었지만 오픈 AI의 챗GPT로 시장의 판도가 바뀌고 2022년 엔비디아 GPU에 4세대(HBM3)가 쓰이면서 귀한 몸이 됐다. HBM 개발에 뒤처진 마이크론은 HBM3를 뛰어넘고 곧바로 HBM3E 개발에 들어갔다. 시장조사업체 트렌드포스는 지난해 8월 HBM3E 샘플 제작 시점을 2024년 7월(마이크론), 8월(SK하이닉스), 10월(삼성전자)로 봤고 이 때문에 2024년까지 삼성전자와 SK하이닉스의 HBM 시장 점유율이 적어도 95%에 달할 거라고 전망했다.
이들 3개 회사가 예상을 뛰어넘어 HBM3E 출하 시기를 반년 이상 앞당긴 건 엔비디아의 최신형 신제품 H200 출하가 빨라진 영향으로 보인다. 엔비디아는 21일(현지시간) 콘퍼런스콜에서 H200을 2분기(4~6월) 초에 내놓겠다고 했다. H200보다 HBM을 더 많이 쓰는 B100은 올 하반기에 선보인다. HBM3E에서 기능을 대폭 바꿀 6세대(HBM4) 출시는 빨라도 내년 하반기로 전망된다. 이 때문에 HBM3E가 H200에도 쓰이는지 B100부터 쓰일지를 놓고 예측이 갈렸는데 26일 마이크론의 발표로 H200에도 HBM3E가 사용되는 점이 확실해졌다.
전문가들은 이들 3개 회사의 각축전으로 각 사의 HBM 출하량, 매출 모두 당분간 늘 것이라고 예상했다. 노근창 현대차증권 리서치센터장은 "마이크론의 HBM3E 양산으로 SK하이닉스와 삼성전자의 HBM 점유율은 떨어질 것"이라면서도 "전체 시장이 커지고 있어 각사의 HBM 출하량, 매출은 늘 것"이라고 내다봤다. 다만 일반 D램의 여섯 배에 달하는 HBM값은 장기적으로 내려갈 것으로 봤다.
엔비디아의 독주는 빅테크 업체들이 경쟁력 갖춘 신경망처리장치(NPU)를 내놓을 때까지 당분간 계속될 것으로 보인다. 김양팽 산업연구원 전문연구원은 "3개 회사의 경쟁으로 HBM 가격이 내려도 엔비디아 제품 가격이 하락할 가능성은 적을 것"이라고 전망했다. 주문이 밀려들어 제때 제품을 내놓지 못했던 병목현상은 일부 해소될 것으로 보인다. 엔비디아 GPU의 병목 현상은 복잡한 반도체들을 한데 묶는 패키징 작업과 HBM 물량이 적은 데서 비롯했다.
상반기 안에 3개 사가 나란히 HBM3E를 생산하지만 가장 중요한 각사의 주문 물량과 수율(정상 제품 비율)은 알려지지 않았다. 이 때문에 SK하이닉스가 앞으로도 HBM 패권을 지킬 수 있을지는 더 지켜봐야 알 수 있다.
세대별 HBM 규격은 국제반도체표준협의기구(JEDEC)에서 정한다. 삼성전자가 12단 HBM3E 개발에 성공했다는 건 JEDEC에 정한 규격에 맞는 제품을 만드는 데 성공했다는 뜻이다. 개발보다 더 중요한 건 최고급 사양 D램인 HBM3E를 사줄 거의 유일한 고객, 엔비디아로부터 각 사가 물량을 얼마나 주문받고 불량품 없이 제때 만들어 내느냐다. 국내 업체들의 HBM3의 수율이 최근 60%까지 올라왔다고 알려졌다. 이제 막 최신형 HBM 양산에 돌입한 마이크론이 수율을 어느 정도로 낼지가 관건인 셈이다. 마이크론은 3월 18~21일 엔비디아가 주최하는 AI회의(엔비디아 GTC)에서 자신들의 AI 메모리 솔루션과 로드맵을 알리겠다고 전했다.