"레즈비언 질 떨어진다"는 'AI 이루다'…뭐든 학습하는 AI 속성이 독 됐다

이루다 홈페이지 첫 화면. 인터넷 캡처

최근 국내 스타트업이 내놓은 인공지능(AI) 챗봇 '이루다'를 두고 논란이 거세지고 있다. 인간 못지않은 대화 친구를 콘셉트로 개발한 AI 챗봇인데, 일부 이용자의 성희롱은 물론 각종 혐오 발언까지 학습하면서 개발 의도와는 전혀 다른 모습을 드러냈기 때문이다.

카톡 메시지 100억개 학습한 '이루다'

10일 업계에 따르면 이루다는 스타트업 '스캐터랩'이 개발해 선보인 AI 챗봇이다. 챗봇은 말 그대로 대화하는 로봇이다. 챗봇은 대부분 메신저 등의 빅데이터를 기반으로 하는데, 현재 페이스북을 고리로 개발된 챗봇만 10만개를 웃돈다.

2016년 3월 마이크로소프트가 선보인 AI 챗봇 테이가 트위터에 트윗한 글들. 히틀러는 옳았다는 식의 내용이 담겨 있다.

챗봇은 크게 두 가지로 구분된다. 날씨나 시간처럼 특정 주제에 특화된 목적 지향형 챗봇과 친구처럼 일상 대화를 나누는데 초점이 맞춰진 오픈도메인 챗봇이다. 특정 질문에 정해진 답을 하게끔 설계된 목적 지향형과 달리 오픈도메인 챗봇은 대화 문맥을 따져 최상의 답변을 골라내야 해 로봇을 학습(머신러닝)시키는 데 더 많은 기술력이 요구된다. 무엇보다 학습에 필요한 데이터를 구하는 게 쉽지 않아서다.

논란의 중심에 선 이루다는 오픈도메인 챗봇이다. 서비스의 성공 여부는 20세 여자 대학생으로 설정된 이루다가 상대와 대화를 얼마나 잘 풀어 나가느냐에 달려 있는데, 개발사는 100억개의 카카오톡 메시지(일본어는 10억개 라인 메시지)를 학습시켰다고 한다.

이루다 초기 버전은 마이크로소프트(MS)가 2014년 중국에서 선보인 같은 유형의 챗봇 '샤오이스(XIAOICE)' 기술에 기반했다. 이후 스캐터랩은 고도화 단계를 거쳐 지금의 이루다를 개발했다. 이루다의 성능이 샤오이스를 배 이상 능가한다는 게 회사 측 설명이다.

뭐든 학습하는 AI, 그게 독이 됐다

지난달 23일 출시된 이루다는 약 2주 만에 이용자 40만명을 돌파하는 등 인기를 끌고 있다. 하지만 최근 이루다와 음담패설, 혐오발언을 주고 받는 대화 내용이 담긴 캡처 사진들이 온라인 커뮤니티에 올라와 충격을 던졌다. 레즈비언이라는 단어에 "질 떨어져보인다"거나, 장애인이라고 쓰면 "불편하다"고 하는 식이다. 일부 이용자가 이루다를 상대로 음담패설을 쏟아내면 이루다가 이를 대화 소재로 이어나가기도 한다.

이루다를 상대로 한 이용자가 성희롱 발언을 하고 있는 장면. 인터넷 캡처

김종윤 스캐터랩 대표는 지난 8일 자사 블로그에서 "문제가 될 수 있는 특정 키워드를 미리 대처했지만 일부 놓친 부분도 있다"며 "다만 모든 부적절한 대화를 막을 순 없고 더 좋은 대화를 하는 방향으로 학습을 시키려고 준비 중"이라고 해명했다.

과거에도 이런 논란은 있었다. MS는 2016년 3월 야심차게 AI 챗봇 '테이'를 선보였는데, 테이는 16시간만에 퇴출됐다. 일부 사용자가 테이를 상대로 인종 차별, 성차별 등을 유도하자, 이를 학습 데이터로 인식한 테이가 트위터에 "대량학살을 지지한다"는 식의 부적절한 트윗을 쏟아냈기 때문이다. 당시 피터 리 MS 부사장은 "서비스 출시 전 다양한 조건에서 스트레스 테스트를 진행했지만 일부가 테이의 취약점을 공격했다"고 인정했다. 이후 MS는 'ZO'라는 챗봇을 내놨는데, 이번엔 아예 정치 관련 키워드를 제외하면서 "맥락 없는 검열"이란 비판을 받기도 했다.

MS가 테이 이후 새로 내놓은 AI 챗봇 'ZO'. 정치 관련 주제는 아예 다루지 않도록 설계돼 있다. 인터넷 캡처

AI 챗봇을 놓고 앞으로 비슷한 논란이 이어질 가능성은 적지 않다. AI 기술 특성상 데이터를 기반으로 자가학습을 하기 때문에 이번처럼 기업의 의도와 다른 모습이 드러날 수 있기 때문이다. 지난달 '사이언스 다이렉트'에 소개된 챗봇 관련 논문엔 '독성 콘텐츠'를 주의해야 한다는 경고가 담겼다. AI 챗봇이 잘못된 지식으로 학습을 하면 인종차별적 발언을 하는 등 자극적인 콘텐츠를 보여줄 수 있다는 취지다.

이루다의 성능이 애초 기술의 기반이 된 구글의 샤오아이스를 훨씬 능가한다. 자료=스캐터랩

다음 창업자인 이재웅 전 쏘카 대표도 페이스북에 글을 올려 "이루다는 인공지능 기술적 측면에서 봤을 때는 커다란 진일보이지만, 지금은 서비스를 중단하고 차별·혐오에 대한 사회적 감사를 통과한 후에 서비스해야 한다"고 주장했다.

김동욱 기자 kdw1280@hankookilbo.com