“챗GPT 지브리풍 사진 열풍이 불었을 때 오픈AI 최고경영자 샘 올트먼이 그래픽처리장치(GPU) 10만개 있으면 연락 달라 했지만, 10년 후에는 ‘고대역폭메모리(HBM) 1000만개 어디 없냐’고 하는 시대가 올 것입니다.”

김정호 KAIST 전기및전자공학부 교수는 지난달 27일 중앙일보와의 인터뷰에서 향후 인공지능(AI) 반도체산업의 새 패러다임은 HBM 중심으로 펼쳐질 것이라며 이같이 말했다. ‘HBM의 아버지’라 불리는 김 교수는 HBM 관련 설계 기술을 20년 넘게 주도해왔다. 그가 이끄는 KAIST 테라랩(Teralab)에서는 박사후연구원을 포함한 석·박사 연구원 29명과 함께 차세대 HBM 기술 로드맵을 연구 중이며, 오는 11일 기술발표회를 개최할 예정이다. 김 교수는 “HBM을 메모리 강국인 한국이 주도해야 한다”고 말했다.

 
GPU 품귀 현상이 지속되고 있지만, 실제 구동되는 GPU는 10%만 일하는 역설적인 상황도 벌어지고 있다. 데이터 병목 현상 때문이다. 김 교수는 “GPU와 메모리 간의 데이터 전송속도가 AI 컴퓨팅의 핵심 병목이 되고, 이 때문에 GPU가 놀고 있는 동안 나머지 90%는 HBM이 바쁘게 읽고 쓰며 일하고 있는 것”이라고 설명했다. 이어 “생성 AI의 활용이 높아질수록 이런 현상은 더욱 심해질 것”이라며 “향후에는 HBM 용량에 따라 기업과 국가의 AI 실력이 좌우될 것”이라고 예측했다.

김 교수는 내년에 나올 HBM4부터 3년마다 차세대 제품이 개발돼 2038년에는 HBM8까지 나올 것이라고 전망했다. 차세대 기술에서 가장 중요한 포인트로는 실리콘관통전극(TSV)과 냉각 기술을 꼽았다. HBM은 D램을 쌓아 TSV로 여러개의 미세한 구멍을 뚫어 데이터 연결통로를 맡기는 구조다. 현재 가장 최신제품인 HBM3E에는 이러한 구멍이 1024개인데 HBM4에는 2배 늘은 2048개가, HBM8에는 16배 늘은 1만6384개가 생길 것으로 예측했다. 김 교수는 “TSV의 중요성은 점점 커져 향후에는 HBM 면적의 40%까지 TSV가 될 것”이라며 “열 잡는 기술도 중요해 팬을 돌리는 것부터 시작해 반도체 내부에 물을 직접 통과시키게 될 것”이라고 이라고 말했다.

세대별 로드맵에 대해서도 구체적으로 제시했다. 내년에 나올 HBM4는 GPU의 일부 기능을 HBM 두뇌 역할을 하는 베이스 다이에 가져오게 된다. 저전력 더블데이터레이트(LPDDR)도 HBM 주변에 붙여 데이터 병목 해소에 도움을 주는 역할을 한다. HBM5은 D램을 연결하는 구멍이 4096개로 늘며 고속 캐시 메모리인 S램이 추가돼 캐시 메모리 수요를 해결하게 된다. HBM6는 쌍둥이 빌딩처럼 하나의 베이스 다이에 HBM 탑이 여러 개 올라온 형태가 될 것이며 HBM7에서는 낸드플래시 메모리도 쌓아 올리는 고대역폭 플래시메모리(HBF)개념이 등장한다. HBM8은 GPU 아래위로 HBM·HBF·LPDDR을 직접 붙이고, 반도체를 이어붙이는 실리콘 인터포저에 유리기판을 함께 쓰는 하이브리드 기판이 될 것으로 내다봤다.


이 로드맵은 공식적인 기술 표준이라기보단 테라랩의 향후 연구방향에 가깝다. 김 교수는 “우리가 남을 따라가기 급급하기보단 기술을 선도하고 있는 HBM 분야에서만큼 스펙의 주도권을 잡아서 가자는 의미에서 로드맵을 제시했다”라며 “기업이 향후 이 기술을 채택해야 하는 과제가 있지만, 해외에서도 벌써 많은 관심을 갖고 있다”고 말했다. 이어 “미국과 중국 사이에서 샌드위치 상황인 한국 반도체 산업이 HBM을 중심으로 돌파구를 찾아나가야 한다”고 강조했다.