카카오 일냈다...중국이 판치는 AI 얼굴 인식 경연대회서 1위 차지한 비결은

미 국립표준기술연구소의 AI 얼굴 인식 기술 대회
중국 기업 제치고 키오스크 부문 1위 쾌거
4개 분야에서 5위 안...3년 전 첫 출전서 100위 밖
"한정된 데이터로 AI 알고리즘 고도화 성공"
차기 목표는 CCTV 영상 속 얼굴 인식 개발

지난달 30일 경기 성남시 판교 카카오엔터프라이즈 사옥 앞에 설치된 워크스루가 캡모자에 마스크를 쓴 임직원의 신원 확인을 하고 있다. 카카오엔터프라이즈

최근 인공지능(AI) 분야에서 매우 이례적인 사건이 있었다. 카카오의 자회사 카카오엔터프라이즈가 미국 국립표준기술연구소(NIST)가 주관한 AI 얼굴 인식 기술 경연대회(FRVT)에서 키오스크 부문 1위를 포함해 총 4개 부문에서 상위 5위 안에 든 것이다. 2000년부터 진행된 FRVT는 전 세계 주요 AI 기술 기업이 참가하는 권위있는 대회다. 2018년 중국 기업이 이 대회에서 1~5위를 휩쓸자 미국 정치권에서도 "중국이 첨단 분야에서 미국을 앞질렀다"고 주목했다.

'21세기 빅브라더' 중국 제치고 안면 인식 1위

2018년 10월 중국 베이징에서 열린 인공지능(AI) 개발자 대회에서 안면 인식 프로그램이 시연되고 있다. 로이터=연합

현재 전 세계적으로 얼굴 인식 기술은 중국이 이끌고 있다. 일찍부터 얼굴 인식 기술에 관심을 가진 중국 정부는 2019년부터는 아예 이동통신 가입 때 얼굴 정보를 등록하도록 하고 있으며, 이미 전국에 방범 카메라를 6억 대 이상 설치·운영 중이다. 중국 정부는 AI 기술 기업과 함께 협업해 신원 확인, 결제, 대출 모니터링, 범죄자 감시 등 다양한 영역에서 안면 인식 기술을 적극적으로 쓰고 있다. 심지어 얼굴의 미세한 움직임으로 감정을 읽거나, 문제를 일으킬 소지가 있다고 판단한 개인의 일상을 관찰하다 평소와 다르거나 의심 가는 행동이 감지되면 경찰에 자동으로 알리는 기술도 있다. 개인정보 보호보다는 빅데이터 확보에 중점을 두면서 중국은 '21세기 빅브라더 국가'라는 비판도 받고 있다.

카카오엔터프라이즈가 정부의 막대한 지원 속에 성장 중인 중국 기업을 제칠 수 있던 비결은 뭘까. 지난달 30일 경기 성남시 판교 카카오엔터프라이즈 사옥에서 만난 신종주 이사는 "개인정보를 보호해야 한다는 대원칙을 지키면서도 최대한 더 많은 데이터를 확보하는 데 힘을 쏟았다"며 "같은 사진을 좌우반전하거나 다른 이미지와 합성해 새로운 얼굴을 만드는 등 노력을 기울였다"고 말했다. 특히 이 회사가 1위를 차지한 키오스크 부문은 얼굴이 아래쪽을 향해 왜곡되거나, 소실이 잘 발생하는 이미지를 정교하게 다뤄야 해 완성도를 높이는 게 쉽지 않다는 평가를 받는다.

"빅데이터 많으면 '땅 짚고 헤엄치기'지만...능사는 아냐"

AI 얼굴 인식 알고리즘을 개발한 신종주 카카오엔터프라이즈 이사. 카카오엔터프라이즈

카카오엔터프라이즈도 처음부터 잘했던 것은 아니었다. 2019년 다음 포털의 이미지 검색 기술을 가지고 나간 첫 대회에서는 전체 168개 알고리즘 중 100위권에 머물렀다.

기본적으로 구글의 AI 알파고가 수많은 바둑 기보를 바탕으로 바둑을 정복했던 것처럼 얼굴 인식 AI도 많은 얼굴 인식을 학습해야 한다. 15억 명의 개인정보를 스스럼없이 활용할 수 있는 중국 기업들에게 AI 연구는 '땅 짚고 헤엄치기'라는 말이 나오는 이유다.

반면 우리 기업들은 중국 기업들과 경쟁하기엔 높은 벽이 있다. 개인정보보호법에선 얼굴 인식 정보를 민감 정보로 규정하고, 정부와 기업이 이를 수집·이용·제공하는 경우 그 목적과 보유 기간에 대해 개인의 동의를 받도록 하고 있기 때문이다.

이에 카카오엔터프라이즈는 일단 임직원 얼굴 사진을 통해 빅데이터를 모으기로 했다. 2020년 초 얼굴 인식 기반 출입 시스템인 '워크스루'를 개발한 이유다. 개인정보 활용에 동의한 임직원은 별도로 출입증을 찍지 않아도 워크스루에 얼굴만 비추면 사무실에 들어갈 수 있다.

하지만 워크스루를 운영하자마자 고비가 찾아왔다. 신종 코로나바이러스 감염증(코로나19)이 확산하자 임직원들이 마스크를 쓰고 출근하게 된 것. 신 이사는 "모든 사람들이 마스크를 쓸 것이라는 상황을 상상해 본 적이 없었기 때문에 초기에 매우 당황했다"며 "마스크를 쓴 빅데이터도 없어 결국 미리 확보한 얼굴 사진에 일일이 마스크를 합성해 만든 가상 이미지로 알고리즘을 고도화했다"고 말했다.

이렇게 확보한 직원 사진만으로는 역부족이었다. 다양한 이미지를 합성해 새로운 데이터를 만드는 식의 '데이터 증강 기술'을 적극 활용해 부족한 데이터 양을 채웠다.

해당 빅데이터는 철저하게 AI 알고리즘 개발에만 쓰인다. 신 이사는 "워크스루를 통해 확보한 사진은 관리자만 출입할 수 있는 스토리지에 저장하고, 해당 정보 역시 암호화해 관리하고 있다"고 말했다.

적은 데이터로도 우수한 알고리즘을 개발하기 위한 기술적 노력도 더해졌다. 우선 수많은 사진 중 특정인을 알아볼 수 있는 고성능의 알고리즘 모델을 개발한 이후, 이를 뒤따르는 작은 규모의 알고리즘을 따로 개발하는 방식을 썼다. 마치 쪽집게 과외 선생님이 비법만 추려 학생을 가르친다고 이해하면 쉽다. 고성능의 알고리즘은 정확도가 높은 대신 연산량이 많아 속도가 느리다는 단점이 있다.

반면 비법을 전수받은 '학생' 알고리즘은 얼굴 인식에 최적화돼 적은 양의 데이터만으로도 상당한 수준의 정확도로 얼굴을 인식할 수 있게 됐다. 카카오엔터프라이즈에 따르면, 키오스크가 잘못 인식할 비율은 4.17%, 출입국 관리에 쓰이는 비자 사진을 구분하는 기술의 오류율은 0.18%에 그쳤다. 신 이사는 "실생활에 쓸지, 공항처럼 정확도를 요구하는 곳에 쓸지에 따라 필요한 AI 알고리즘의 수준이 다르다"며 "'학생' 알고리즘은 성형 수술을 하거나, 10년이 지나 노화로 얼굴이 변해도 구별할 수 있는 수준"이라고 말했다.

다음 목표는 AI CCTV...개발 어렵고 개인정보 이슈 난제

카카오엔터프라이즈가 AI CCTV 개발을 위해 사내에서 실험 중인 무인 상점. 카카오엔터프라이즈

카카오엔터프라이즈의 다음 목표는 AI 폐쇄회로(CC)TV다. CCTV를 통해 특정인을 구분하는 기술은 활용도가 더 넓다. 반면 CCTV 설치 각도에 따라 얼굴을 구분하는 데 어려움이 크고, 개인정보 보호 문제에 관해서도 넘어야 할 산이 더욱 많다.

이에 카카오엔터프라이즈는 현재 사내에 AI CCTV가 설치된 무인 편의점을 만들어 놓고 출입자를 대상으로 해당 기술을 고도화 중이다. 개인정보 수집에 임직원이 상점에 들어와 선반에 있는 과자나 음료를 집을 경우 CCTV 영상을 통해 누가 어떤 제품을 가져갔는지를 확인할 수 있다. 미국 아마존이 운영 중인 무인 매장 '아마존고'와 비슷하지만, 아마존은 비싼 3D 카메라를 설치해 AI 기술을 활용하는 반면 카카오엔터프라이즈는 CCTV를 통해 구현이 가능하다는 차별점이 있다.

신 이사는 "개발자 입장에서 중국처럼 데이터가 많을수록 기술을 구현하는 데는 도움이 되는 것은 사실"이라며 "그럼에도 현재의 주어진 상황에서 고군분투해 전 세계 최고 수준의 기술을 얻게 된 것은 의미가 크다"고 말했다.

안하늘 기자 ahn708@hankookilbo.com