중국 딥시크 충격으로 엔비디아 주가가 급락했는데, 정작 엔비디아의 반응이 묘하다. 젠슨 황 최고경영자(CEO)가 강조한 ‘훈련에서 추론으로’의 완벽한 예를 딥시크가 보여줬다며 찬사를 보냈다.

인공지능(AI) 반도체 시장이 AI 모델을 최적화해 서비스하는 추론용 칩으로 확대되면서, 현재 각광받는 최신 고대역폭메모리(HBM) 외에 구형 HBM과 GDDR7의 수요 또한 증가할 거라는 전망도 나온다.

중국 AI 기업 딥시크가 지난 20일 공개한 추론용 AI 모델 ‘R1’이 ‘싸고 성능 좋은 AI’로 입소문을 타자 지난 27일 엔비디아 주가는 17% 급락했다. AI 모델 성능을 높이기 위해 비싼 엔비디아 그래픽처리장치(GPU) 대규모로 사들일 필요가 없는 건가, 하는 회의에서였다. 외신에 따르면 메타는 딥시크 경쟁력을 분석하기 위해 워룸(작전실)을 가동하기 시작했고, 오픈AI는 자사 AI 모델 답변에 딥시크 훈련에 무단 사용됐는지 조사에 나섰다.

그러나 엔비디아의 반응은 사뭇 달랐다. 이날 엔비디아 대변인은 CNBC에 “딥시크는 탁월한 AI의 성과이자, ‘테스트 시간 확장 법칙’의 완벽한 예”라고 찬사를 보냈다. 

테스트 시간 확장(Test-time scaling)이란, 지난 6일 젠슨 황 CEO가 CES 2025 기조연설에서 강조한 AI의 3번째 발전 법칙이다. 대량의 데이터와 GPU로 AI를 사전 훈련하는 게 첫 번째 단계, 사후 학습으로 특정 분야 성능을 끌어올리는 게 두 번째라면, 그 다음은 AI가 주어진 과제를 단계별로 나눠 난이도에 따라 필요한 자원을 유동적으로 할당하면서 문제를 처리하는 단계다. 쉬운 업무에는 최소한의 연산 자원을 쓰고 보다 복잡한 연산에 더 많은 자원을 투입하는 식의 판단을 AI가 스스로 내리기에, 어려운 문제도 효율적으로 처리할 수 있다는 것. 


 
이를테면 대학에서 보편적 지식을 습득하는 게 사전 훈련, 이후 취업을 위해 특정 분야 지식을 추가하는 게 사후 학습이라면, 테스트 시간 확장은 직장에서 실무에 부딪혀가며 일머리가 늘어나는 격이다. 황 CEO는 테스트 시간 확장 법칙을 통해 AI의 문제 해결(추론) 능력이 빠르게 향상되고 AI 비서가 대중화될 거라며 “엔비디아 컴퓨팅에 대한 막대한 수요를 견인하고 있다”라고 주장했다.  

이제까지 추론용 AI는 오픈AI의 o1 모델이 가장 유명했지만, 오픈소스로 제공되지 않았고 기술도 감췄다. 그런데 딥시크가 추론용 R1 모델을 오픈소스로 공개하면서 후속 연구가 활발해질 전망이다.   

딥시크의 주요 차별화 요소는 소프트웨어와 하드웨어의 최적화로 꼽힌다. AI 모델을 훈련할 때 일반적으로 사용하는 것보다 덜 정밀한 방식(8비트 부동소수점 혼합)을 사용하되, 알고리즘과 하드웨어를 최적화해 이를 보완했다는 것. 일론 머스크 등은 딥시크가 미리 쟁여둔 엔비디아 고사양 칩 H100 수만 개 썼을 거라고 주장했지만, 엔비디아는 “딥시크가 수출 통제를 완전히 준수하는 컴퓨팅과 기술을 사용했다”라며 편을 들었다.

기술 업계에서는 딥시크의 비용·기술력 주장을 곧이곧대로 믿을 수 없다는 의견도 많다. R1은 딥시크의 기존 대형 모델 V3를 기반으로 만들어졌는데, 회사는 V3 비용은 빼고 R1만으로 비용을 계산했다는 거다. ‘중국이 적은 비용으로도 미국을 이긴다’고 강조하는 정치적 판단도 있다고 본다.

 
그러나 딥시크가 AI 경쟁에서 ‘비용 효율화’의 막을 열었다는 데에는 이견이 적다. 특히 고성능 추론 AI의 진입 장벽이 낮아지면서 현재보다 더 많은 AI 서비스가 개발되고, 반도체 수요도 증가할 거라는 낙관도 나온다. 

추론용 AI 칩을 개발하고 있는 국내 AI 반도체 스타트업 하이퍼엑셀의 이진원 최고기술책임자(CTO)는 “선발 주자의 기술력을 후발주자가 빠르게 따라잡고 공개하면서 AI 추론 시장이 커지고 있다”라며 “AI 추론에서 메모리는 여전히 많이 필요하기에 고성능 DDR(더블데이터레이트)과 구형 HBM 등, 가격 효율성 있는 첨단 D램 수요는 더 늘어날 것”이라고 말했다. 현재 최신 HBM3E(5세대)은 AI 훈련용으로 대형 AI 데이터센터에 주로 사용되는데, 이보다 성능·가격이 낮은 구형 HBM이나 현재 PC·모바일에 사용되는 그래픽메모리(GDDR)7이나 저전력(LP)DDR 등 메모리가 AI 추론용으로 널리 쓰일 가능성이 있다는 얘기다. 

엔비디아는 개인 개발자가 AI 추론 모델을 개발하고 실행할 수 있는 3000달러(약 430만원)짜리 개인용 AI 슈퍼컴퓨터인 ‘프로젝트 디지츠(Digits)’를 오는 5월 출시할 계획이다.