오픈AI의 챗GPT, 앤스로픽의 클로드, 구글의 제미나이 등 이미 상용화 된 인공지능(AI) 서비스가 사이버 공격에 악용될 수 있다는 연구 결과가 나왔다. AI 기술이 발달하는 만큼 개인정보 수집·유출 등 보안에 대한 우려 또한 커지고 있어, 정부와 업계의 대책 마련이 시급하다는 지적이다.

KAIST는 신승원 전기및전자공학부 교수, 이기민 김재철AI대학원 교수 공동연구팀이 실제 환경에서 LLM이 사이버 공격에 악용될 가능성을 실험적으로 규명했다고 25일 밝혔다. AI가 최근 단순 챗봇을 넘어 더 자율적인 에이전트(비서) 형태로 진화하고 있는 상황에서 이 기술이 개인정보 수집 및 피싱 공격 등에 활용될 수 있음을 규명한 것이다.

공동연구팀은 GPT, 클로드, 제미나이 등 시중에 나와 있는 거대언어모델(LLM) API(응용 프로그램 인터페이스)를 활용해 주요 대학 컴퓨터과학 교수 약 600명의 개인정보를 자동 수집하는 테스트를 진행했다. 연구팀에 따르면 LLM에 ‘KAIST 신승원 교수 개인정보를 알려달라’고 부탁하자, LLM은 여러 판단을 거쳐 웹 검색을 통해 신 교수를 소개하는 KAIST 사이트에 접속했다. 이후 사이트에 있는 내용에서 원하는 정보를 찾아 사용자에게 전달했다. 이런 방식으로 목표 대상의 개인정보를 최대 95.9% 정확도로 수집할 수 있었다.

LLM 에이전트가 생성한 특정 인물 사칭 게시글은 정교한 수준으로 평가됐다. LLM이 생성한 유명 교수들 사칭글의 진위 여부를 ‘검증용’으로 학습시킨 다른 AI 모델에 보여주자 93.9%의 게시물을 실제 게시글로 인식했다.

 
피싱 이메일 제작 능력도 뛰어났다. 연구팀은 60명 참가자들을 모집해 각 대상자별 맞춤형 피싱 이메일을 LLM으로 생성했다. 이 메일을 각 참가자들에게 보내자 이메일 내용에 포함된 링크 클릭률은 최대 46.67%까지 나왔다. 기존 피싱 공격 클릭률(약 10~20%) 대비 상당히 높은 수치였다. 


이번 연구는 AI 기술 개발을 위해 각국과 기업들이 막대한 투자를 이어가고 있는 시점에서 고도화 된 AI가 악의적인 사이버 공격의 치명적인 ‘무기’가 될 수 있다는 걸 규명했다. 현재 오픈AI와 구글 등은 LLM이 사이버 공격에 사용되는 걸 막기 위해 각종 방어 기법을 자체적으로 탑재해 나가고 있다. 그럼에도 연구팀 실험 결과, LLM이 각종 웹 기반 도구와 결합했을 때 이를 쉽게 우회해 사이버 공격에 사용될 수 있음을 확인한 것이다.

기존 사이버 공격보다 훨씬 적은 비용으로 빠르게 공격할 수 있다는 점도 새로운 위협 요소로 부각됐다. 연구팀이 LLM 에이전트를 활용해 공격을 수행하는 데 걸린 시간은 10~20초 내외였고, 비용(API 사용료)은 약 2~4센트(한화 60원 이하)로 매우 저렴했다.

 
이번 연구의 제1 저자인 김한나 연구원은 “LLM의 능력이 높아질수록 사이버 공격 위협이 기하급수적으로 커진다는 것이 확인됐다”며 “좀 더 확장 가능한 보안 장치가 필요하다”고 말했다. 신승원 교수는 “LLM 서비스 제공업체 및 연구기관과 협력해 보안 대책을 논의할 계획”이라고 밝혔다.