‘전기 먹는 하마’ 인공지능(AI)의 전력 소비를 어떻게 줄일 수 있을까. IBM이 데이터센터에 깔린 구리선 대신 광섬유로 전력 소비를 줄일 방법을 찾았다.

9일(현지시간) IBM은 데이터센터에서 생성 AI 모델의 학습 및 실행 방식을 개선할 수 있는 광학 기술을 발표했다. 이는 광섬유를 활용한 새로운 광학 기술로, 기존 전선(구리선) 기반 통신을 대체할 수 있다. 데이터센터 내부 연결 속도를 빛의 속도로 대폭 향상시킬 수 있는 것이다.

IBM 리서치의 연구 개발 총책임자 다리오 길 수석 부회장은 “이 획기적인 기술을 통해 미래의 칩은 데이터 센터 내부와 외부에서 광섬유 케이블로 데이터를 전달하는 방식으로 통신하게 될 것”이라며 “AI 처리 작업을 더 빠르고 지속가능하게 지원하는 새로운 통신 시대를 열게 될 것”이라고 말했다.

새로운 광섬유 기술로 에너지 소모를 줄일 수 있다. 광섬유 기술은 전기 대신 빛으로 장거리 데이터 전송을 빠르게 처리하기 때문에, 현재 전 세계 상업 및 통신 트래픽 대부분에 사용되고 있다. 데이터센터의 외부 통신 네트워크에는 광섬유를 사용하는데, 내부 통신 네트워크 대부분에는 여전히 구리선을 사용하고 있다. 이 전선은 대규모 학습 과정에서 다른 장치의 데이터를 기다리느라 절반 이상의 시간을 유휴 상태로 보내는 GPU(그래픽처리장치)들을 연결하고 있다. 이로 인해 상당한 비용과 에너지가 소모된다.

IBM에 따르면 이 기술을 통해 AI 모델 학습 시 모델당 미국 가정 약 5000가구의 연간 전력 소비량에 해당하는 에너지를 절감할 수 있다. 기존 전선 대비 전력 소비를 5배 이상 줄임으로써 생성 AI 확장 비용을 낮출 수 있다. 원래 데이터센터 간 케이블 연결 길이는 통신속도를 높이기 위해 1미터 안팎이었는데, 이를 수백 미터로 연장할 수 있다. 또 기존 전선을 사용할 때보다 거대언어모델(LLM)의 학습 속도를 최대 5배까지 높일 수 있다. 이를 통해 일반적인 LLM 학습 기간이 3개월에서 3주로 단축될 수 있다.


AI 사용에 따른 대규모 전력 소비는 AI 기업들의 골칫거리다. AI 규모가 커지면서 데이터센터의 전력사용량도 늘고 있다. AI의 학습과 추론에 막대한 연산 자원이 들어가고, 지속적으로 발생하는 열을 식히기 위해 냉각 시스템을 가동해야 해서다. 시장조사기관 가트너는 2027년이면 AI 데이터센터의 40%가 전력난에 시달릴 것으로 전망하고 있다.

이 때문에 테크 기업들은 전력 공급을 위해 원전에 기대고 있거나, 전력을 아끼기 위한 저전력 기술에도 관심을 기울이고 있다. 오픈AI의 샘 올트먼 최고경영자(CEO)는 SMR(소형모듈원자로) 스타트업 오클로에 투자했다. 지난 3일 메타도 AI 개발에 필요한 전력을 생산하기 위해 원자력 에너지 개발을 추진한다고 밝혔다. AWS(아마존웹서비스), 마이크로소프트, 구글 등 클라우드 빅테크 기업들은 데이터센터의 에너지 효율성을 높이기 위해 자체 설계한 저전력 칩을 개발하고 있는 중이다.