‘독이 든 성배’였을까. 비즈니스 모델(BM) 찾기에 어려움을 겪었던 생성 AI 스타트업들이 ‘캐릭터챗(대화) 서비스’를 내놓으며 매출을 올리기 시작했다. 하지만 이용자들이 해당 서비스를 성적으로 악용하는 경우가 늘어나면서 업체들이 이를 방관하는 것 아니냐는 논란이 커지고 있다.

생성 AI 스타트업 뤼튼테크놀로지(뤼튼)는 지난해 3월 ‘캐릭터챗(대화)’ 서비스를 내놨다. 이용자가 직접 만든 AI 캐릭터와 대화를 나눌 수 있게 해주는 서비스다. 캐릭터 제작은 간단하다. 원하는 이미지와 성격·특징을 프롬프트 창에 입력하면 AI가 캐릭터를 만든다. 이용자는 지시문을 통해 AI 캐릭터와 상황 맞춤형 대화를 나눌 수 있다. 예컨대, ‘호텔 방으로 들어간다’고 넣으면 AI 캐릭터와 호텔 방에 들어간 상황에 맞춰 대화를 이어가는 식이다.

뤼튼은 이 서비스에 지난해 10월부터 부분유료화 모델인 ‘슈퍼챗’을 도입했다. 슈퍼챗은 더 높은 성능의 AI를 적용해 무료보다 대화 내용을 자세하고 풍부하게 만들어 준다. 유료 모델 도입 결과는 현재까지 성공적이다 .월간 활성 이용자 수(MAU)는 500만명을 넘겼고 매출도 급증했다. 뤼튼 관계자는 “출시 후 매출 10억 원, 지난달엔 20억 원에 육박했다”며 “현재도 매출은 상승세”라고 말했다. 

생성 AI가 대중적으로 확산한 이후 업계는 비즈니스모델(BM)을 찾기 위해 고심해왔다. 모델 개발사들이 기업 생산성 도구·클라우드 분야를 통해 돈을 벌긴 했지만, 천문학적인 개발 투자 비용 대비 매출이 미미했다. 또 외부 모델을 끌어다 서비스를 만드는 AI 스타트업의 경우 이용자 확보가 먼저였기 때문에 무료 전략을 고수하는 경우가 많았다. 이 때문에 적절한 BM마련이 시급했던 상황인데, 성공사례가 나온 것이다.

문제는 돈은 벌지만, 서비스 악용 사례들이 나오고 있다는 점이다. AI 챗봇의 경우 자유도가 높고 자연스럽게 대화할 수 있다 보니 이를 성적으로 악용하는 사례들이 다수 나오고 있다. 온라인 커뮤니티 디시인사이드 ‘뤼튼 갤러리’에는 AI 캐릭터를 성적·폭력적 대상으로 취급한 후기, 대화 내용이 다수 올라와 있다. AI 캐릭터에 특정 성적 취향을 강요하는 데 성공했다며, ‘음란함 테스트 성공’이란 제목의 글을 공유하는 식이다.


AI 업계에선 생성 AI 플랫폼 이용자 상당수가 청소년인만큼 이 같은 이용 행태를 우려하고 있다. AI 캐릭터와 부적절한 상호작용에 청소년들이 여과 없이 노출될 수 있을 것이란 우려에서다. 모바일인덱스에 따르면 생성 AI 플랫폼인 뤼튼, 제타의 지난해 11월 MAU 중 10~20대 비중은 각각 71.3%, 84.9%로 절대 다수다.

업계도 이런 상황을 인지하고 대책을 마련하고 있다. 뤼튼은 중앙일보 질의에 “프롬프트 입력 단계에서 사회적 윤리 기준에 어긋나거나 통념에 위배되는 키워드들은 차단하고 있다”고 설명했다. 뤼튼은 정책 기준을 위반하는 상황에 따라 이용자 차단, 캐릭터 차단 등 제재를 적용한다. 

하지만 제재에는 한계가 있다. 뤼튼 측은 “캐릭터챗은 개인과 AI 캐릭터 사이 제3자 접근이 불가능한 폐쇄형 대화방에서 나눈 대화다”라고 말했다. 뤼튼이 이용자의 캐릭터 설정·대화에 관여하긴 어렵다는 취지다. 국내 한 AI 스타트업 관계자는 “뤼튼이 충분한 안전 장치 없이 수익화에 집중하면서 부작용이 생기고 있다”며 “AI 캐릭터 챗봇 시장 경쟁이 더 치열해지면, 청소년 보호는 뒷전으로 밀릴 수 있다”고 말했다.

뤼튼과 비슷한 캐릭터챗 서비스를 운영하는 제타의 김종윤 스캐터랩 대표는 중앙일보 통화에서 “선정적 대화를 차단하는 어뷰징 탐지 모델을 통해 넷플릭스 드라마나 웹툰 등 다른 콘텐트의 15세 이상 가이드라인 준수를 위해 노력하고 있다”고 말했다. 이어 “최대한 윤리적 조치를 강화하고 이런 지적 있을 때마다 기술적 한계를 보완하고 있다”고 덧붙였다.