◆In-game 휴머노이드 실험실=젠슨 황 CEO는 엔비디아가 만드려는 휴머노이드에 대해 “공을 잡으려면, 공을 ‘잡는 방법’만 아는 것이 아니라 ‘왜 잡아야 하는지’도 이해해야 한다”고 강조해 왔다. 여기서 공을 잡는 방법, 즉 직접적 동작과 관련한 AI 사고 모델은 ‘시스템 1’, 왜 잡아야하는지 논리적으로 판단하고 의식하는 기술과 관련된 모델은 ‘시스템 2’로 지칭한다. 두 모델이 모두 일정 수준 이상이 돼야 진짜 휴머노이드라고 할 수 있다.

전세웅 한국전자기술연구원 책임연구원은 “시스템 1은 손기술, 시스템 2는 일머리다. 로봇에 ‘먹을만한 식재료를 냉장고 안에서 찾아줘’라고 명령하면 거대언어모델(LLM)이 냉장고를 인지하고 식재료를 구분한 뒤, 찾아서 전달하는 동작 관련 코드를 스스로 작성한다. 시스템 2의 영역이다. 그러면 이걸 실제 물리 세계에서 로봇이 구현해줘야 한다. 발을 땅에 안정적으로 딛고 문을 열 수 있어야 하고, 냉장고 문 여는 각도도 알아야 한다. 이게 엔비디아가 말하는 시스템 1”이라고 설명했다.

두 영역 모두 고도화를 위해선 수많은 데이터와 학습이 필요하다. 엔비디아는 이 지점에서, 무수한 데이터를 가상세계에서 축적하는 길을 택했다. 실제 세계와 똑같은 가상 세계를 컴퓨터 안에 구현한 일종의 디지털 트윈을 통해 로봇의 움직임과 일머리를 끌어올리겠다는 것이다. 이를 위해 로봇 훈련 플랫폼 옴니버스(Omniverse·실제 설비를 본 따 제작한 가상 공간)를 직접 구축하기도 했지만, 동시에 로봇 훈련장으로 쓸 수 있는 다른 가상 세계에도 눈독을 들이고 있다. 그 중 하나가 한국 게임사 크래프톤이 만든, 게임 속 세상이다.

◆사람 냄새나는 캐릭터도 등장=크래프톤의 서버이벌 슈팅게임 배틀그라운드와 지난 3월 출시한 ‘인생시뮬레이션’ 게임 인조이(inZOI) 안에는 현실과 똑같은 도시가 있고, 자동차와 상점이 있으며, 캐릭터들이 있다. 인간 같은 캐릭터들의 동작이나 상호작용 관련 자료를 수없이 생산하는, AI 로봇의 데이터 보물창고인 셈이다. 게다가 크래프톤 게임엔 기존에 없던, AI가 적용된 ‘사람 냄새 나는’ 캐릭터가 있다. 엔비디아와 협력으로 탄생한 CPC(Co-Playable Character)다.

CPC는 정해진 답변과 행동만 취하던 기존 NPC(Non-Player Character)와 달리 이용자 캐릭터와 자율적으로 상호작용 한다. 크래프톤 관계자는 “게임 내 복합적인 상황을 고려하고 스스로 계획·판단하기 때문에 이론적으로 게임 속에 구현된 어떤 행동이든 다 할 수 있다”고 설명했다. 크래프톤은 향후 이 데이터를 잘 활용하면 게임 세계에서 쌓은 데이터로 현실 속 휴머노이드를 고도화시키는, 가상에서 현실로의 역확장이 가능할 것으로 본다.


엔비디아는 이런 게임을 통한 로봇 학습으로 엄청난 비용을 아낄수 있다. 산업용 로봇을 개발하는 뉴로메카 허영진 최고기술책임자(CTO)는 “사람이 직접 모션캡처 장비를 착용해 학습 데이터를 얻는 방식을 쓰는 곳도 있는데, 문제는 비용이 많이 들고 구동 인력 수급도 쉽지 않다. 그래서 엔비디아는 다른 방식을 찾아 크래프톤과 협업하는 것이다. 게임에서 인간 신체와 동작 등을 3D 그래픽으로 구현한 뒤 AI를 학습시키는 방식은 정교함은 상대적으로 떨어지지만, 가성비가 매우 좋다”고 설명했다.

◆AI 뒤쳐진 한국, 휴머노이드로 반전?=엔비디아와 크래프톤의 협력은 이제 막 걸음을 뗀 수준이며, 협업 파트너가 크래프톤만 있는 것도 아니다. 또 크래프톤이 게임 속에 구현한, 신체 특성과 주변 환경을 종합적으로 인식하고 이를 인간처럼 움직일 수 있는 체화 AI(Embodied AI) 기술과 자율적 결정이 가능한 에이전틱 AI(Agentic AI) 기술이 휴머노이드를 위한 시스템 1·2의 역할을 수행하려면 갈길이 한참 멀다. 그럼에도 업계의 기대감은 크다. AI 기술 경쟁에서 뒤쳐졌다는 평가를 받는 한국이 반전을 만들 수 있는 한줄기 가능성으로 보고 있기 때문이다.

지난 1월 최태원 SK그룹 회장은 CES 2025 현장에서 황 CEO를 만난 뒤 “한국은 제조업이 강하고, 제조 노하우가 상당히 축적돼 있다. 황 CEO가 원하는 것도 디지털 트윈을 비롯한 여러 가지 피지컬 AI와 관련된 것들이 있고, 최근 발표한 엔비디아의 코스모스 플랫폼(로봇 파운데이션 모델)도 존재하니까 그와 연관돼서 앞으로도 같이 해보면 좋겠다는 얘기를 나눴다”고 말했다.

실제 휴머노이드 시대를 맞아, 한국의 가능성을 높이 평가하는 전문가들도 적지 않다. 대표적인 인물은 위르겐 슈미트후버 사우디아라비아 킹압둘라과학기술대(KAUST) 교수. 1997년 딥러닝에 장단기 기억을 추가해 ‘현대 AI의 아버지’라 불리는 그는 본지와 서면 인터뷰에서 “현재 AI는 컴퓨터 속에서 수학 문제 푸는 것 밖에 못하고, 현실 세계에선 고장 난 배관 하나 못 고친다. 인간의 도구를 다룰 수 있는 체화 AI가 나와야 생산 혁신이 이뤄진다. 이를 위해 로봇공학(체화AI)과 머신러닝(에이전틱AI)을 결합해야 하는데, 한국이 보유한 기계공학 역량과 강력한 제조 인프라가 여기에 일조할 수 있다. 실험실에 머물던 로봇이 현실 세계로 나아가는 관문 역할을 해줄 것”이라고 설명했다.

◆휴머노이드 시대를 달리는 이들=전세계 시장을 이끄는게 엔비디아긴 하지만, 아직 승자를 가늠할 단계는 아니다. 경쟁자가 수없이 많기 때문. 특히 테슬라는 엔비디아와 전혀 다른 방식으로 달려 나가고 있다. 테슬라의 신형 휴머노이드 ‘옵티머스 3’는 지난달 공개한 시연 영상 속에서 양손으로 키친타월을 잡아 뜯는 등 고난도 동작을 수행했다. 인간의 뼈와 관절 움직임을 얼마나 모방할 수 있는지 나타내는 척도인 ‘자유도’(DOF)는 22단계로, 사람 손(27단계)에 근접했다는 평가. 테슬라는 이런 기술 확보를 위해 일종의 모션 캡처 장비인 ‘텔레오퍼레이션’을 활용한다. 사람이 직접 이 장비를 착용한 채 컵을 쥐고 옮기는 동작을 반복하고, 이 데이터로 AI를 학습시키는 것. 1대1 과외인 만큼 가상 세계를 활용하는 엔비디아 방식보다 돈이 훨씬 많이 들지만, 정교하고 안정성이 높다.

제조업 기업 뿐 아니라 수많은 빅테크, 그리고 휴머노이드와 상관 없어 보이는 기업들조차 속속 시장에 도전하고 있다. 콘텐트 회사인 월트디즈니도 지난 3월 엔비디아와 협업을 선언하며 영화 ‘스타워즈’에 나온 이족보행 로봇을 공개했다.

게다가 중국 역시 ‘로봇 굴기’를 추진 중. 모건스탠리가 지난 2월 발표한 자료에 따르면 지난해 중국에서 나온 휴머노이드 관련 논문은 5688건으로 미국(1483건)의 3배를 웃돈다. 다만 학계에선 아직 의구심을 갖고 바라본다. ‘로봇파운데이션모델’(RFM) 개발 스타트업 리얼월드의 류형규 최고제품책임자(CPO)는 “중국 휴머노이드 관련 영상은 많은데 원천 기술을 확보했는지는 확신할 수 없다. 소스를 공개하지 않아 검증이 어렵다”고 말했다.