마스크 쓴 사람, 반려견까지 척척... 지문만큼 정확해진 얼굴인식

<얼굴인식 전문가 김익재 KIST AI연구소장>
AI가 사람보다 정확하게 식별하는 수준 도달
10억 명 정보 바탕으로 한 중국 기술과 대등
범인 검거·실종 아동 찾기 등에 폭넓게 활용

김익재 KIST AI·로봇연구소 소장이 1일 서울 성북구 한국과학기술연구원 내 사무실에서 한국일보와 인터뷰를 하고 있다. 왕태석 선임기자

편집자주

영화의 상상력은 시대를 앞서갑니다. 공상과학(SF)이라는 장르가 따로 있을 정도로, 미래는 영화의 주요 소재가 되지요. 영화는 미래와 현재의 간극을 메우기 위해 컴퓨터그래픽(CG)을 활용하지만, 현실에서 그 상상을 진짜로 만드는 것은 과학자들의 몫입니다. 이미 수십 년 전 영화에서 묘사됐던 미래 기술이 현실화된 사례가 많습니다. 한국일보는 SF영화ㆍ소설에 등장했던 가상 기술이 실제 구현된 사례를 찾아보고, 관련 분야 최고 전문가와의 인터뷰를 통해 기술의 적용과 미래 발전 가능성을 조명해 봅니다.

24년 전 영화에 등장한 얼굴인식 기술

토니 스콧 감독의 액션 대작 '에너미 오브 스테이트'(Enemy Of The State)는 정보 장악을 통해 사생활 속에 깊숙이 파고든 거대 정보기관의 어두운 이면을 그린다. 영화 속 노동 전문 변호사 로버트 클레이튼 딘(윌 스미스 분)은 자신도 모르는 새 유력 정치인의 암살 비디오를 얻고, 미국 국가안보국(NSA)의 집요한 추격을 받는다.

이 영화에서 묘사된 NSA는 그야말로 전지전능하다. 도청, 감시, 추적을 자유자재로 하면서 포위망을 좁혀온다. 특히 NSA는 편의점 폐쇄회로(CC)TV로 확보한 사진 한 장을 토대로 조력자의 신원을 파악하고, 첩보위성 영상으로 특정 차량을 추적해 은거지를 찾아낸다.

1998년 제작된 이 영화에는 매우 먼 곳에서 특정인의 얼굴을 인식하거나 추적하는 얼굴인식·식별 기술이 등장한다. 영화가 나올 당시 매우 기초적 수준에 머물렀던 얼굴인식 기술은 24년이 지난 지금, 인공지능(AI) 딥러닝 기술에 힘입어 눈부시게 발전했다. 카드 없이 얼굴인식만으로 출입을 통제하는 시스템은 마스크나 안경을 써도 0.3초 만에 신원을 파악할 수 있는 수준에 이르렀다.

영화 '에너미 오브 스테이트'에 등장하는 얼굴인식 기술(위)과 재식별 기술(아래). 브에나비스타픽처스 제공

건물 CCTV, 차량 블랙박스 속 사람들의 신원을 파악하는 기술은 경찰이 수사에서 적극 활용 중이기도 하다. 한국 경찰은 2017년부터 '3D얼굴인식시스템'이라는 이름으로 수많은 범죄자를 잡고 실종자를 찾았다. 얼굴인식을 이용한 범죄자 검거는 기술적으로 충분한 발전을 이뤄 "이제 남은 이슈는 기술이 아니라 비용·윤리·제도에 관한 합의뿐"이라는 평가까지 나온다.

현재 경찰이 사용하는 얼굴인식 프로그램은 한국과학기술연구원(KIST) AI·로봇연구소가 설계한 것이다. 연구소를 이끄는 국내 최고의 전문가 김익재 소장을 만나 얼굴인식 기술의 원리와 현재, 미래에 대해 들었다.

사람이 얼굴 익히듯 AI가 얼굴 학습

얼굴인식 기술을 시연하는 KIST AI·로봇연구소 연구진. KIST 제공

-얼굴인식 기술의 원리를 알기 쉽게 설명해 주세요.

"기본적으로는 지문 인식의 원리와 비슷하죠. 특징 벡터(특징을 수치화한 것)를 뽑아내 저장해 뒀다가 대상자와 비교하는 것입니다. 하지만 형태가 정확하게 스캔되는 지문과 달리, 얼굴은 3차원이어서, 촬영 조건에 따라 많은 것이 달라진다는 차이가 있어요. 사람 얼굴은 옆모습과 앞모습이 다르고, 표정이 다르고, 조명에 따라 달리 보이잖아요? 그래서 초창기 얼굴인식 기술은 지문인식과 비교가 안 될 만큼 오차가 많았어요.

하지만 AI 딥러닝 도입으로 얼굴인식 기술은 정말 급격하게 발전했어요. 딥러닝은 우리 뇌의 인식 과정, 뉴런의 정보전달을 본따 만들어졌습니다. 초창기 얼굴인식 기술이 수학적 모델에만 기반해 특징을 뽑아낸 것과 달리, 딥러닝 모델은 얼굴이라는 데이터에서 자동으로 특징을 뽑아내 학습하지요. 쉽게 말해 우리가 과거의 경험을 토대로 "이 사진에 나온 사람과 저 사진에 나온 사람은 같은 사람이다"라고 판단하는 것처럼, 프로그램이 자체적으로 얼굴을 인식할 수 있게 된 것이죠. 프로그램에 등록된 얼굴은 벡터값 형태의 정보로 저장되고, 나중에 새로 들어오는 비교 대상과 일치율을 도출하게 됩니다."

-얼굴인식 기술은 중국이 뛰어나다고 들었는데, 지금 한국 연구소의 수준은 어느 정도인가요?

"중국은 10억 명 국민의 얼굴 데이터를 정부가 다 가지고 있어요. 그 10억 명의 사진 데이터를 토대로 딥러닝을 해 엔진을 개발했죠. 한국에선 개인정보보호법에 따라 얼굴 정보를 사용하려면 동의가 필요해요. 데이터를 구하는 데 정말 많은 노력이 필요했어요. 저희는 수집에 동의한 한국인의 얼굴 데이터, 법에 저촉되지 않는 다른 나라 사람들의 얼굴 데이터 등 수백만 명의 얼굴 데이터를 기반으로 딥러닝을 진행했습니다. 학습 데이터 수에서 차이가 있긴 하지만 엔진 자체의 기술은 중국과 대등한 수준이라고 볼 수 있어요."

공용데이터세트(LFW) 기반 얼굴인식 엔진 일치율

-일치율이 어느 정도나 되나요? 사람보다 정확하게 파악하는 것도 가능한가요?

"저희 실험 결과 일치율은 99.8%(LFW 공용데이터세트 기준) 정도예요. 일반적인 사람들이 다른 사람 얼굴을 알아보는 것보다 조금 더 정확하게 더 빨리 파악한다고도 말할 수 있을 것 같아요. 요즘 코로나 탓에 마스크를 쓰고 다니면서 아는 사람도 못 알아보고 지나치는 경우가 종종 있잖아요? 하지만 AI는 마스크를 쓴 사람을 분간해내는 정확도가 95% 이상이죠. 마스크를 쓴 사람을 어떻게 분간하냐구요? 얼굴 학습 데이터베이스에 마스크를 착용·미착용한 동일인의 이미지가 있으면 제일 좋지만, 그런 경우가 존재하지 않아서 가상 마스크를 생성하는 기술을 개발해 학습 DB로 확보했어요. 얼굴인식 대상은 사람에 국한되지도 않아요. AI는 주인이 아니면 알아보기 힘든, 같은 종의 강아지 여러 마리를 서로 구분할 수 있어요."

얼굴이 지문을 넘어서는 때가 온다

그런데 이 지점에서 계속 떠오르는 의구심을 떨칠 수 없다. 얼굴인식이 과연 실생활에서 비밀번호나 지문인식, 회사 출입증(카드)을 대체할 만큼의 신뢰성을 보여줄 수 있을 것인지. 은행 애플리케이션으로 송금을 할 때 지문인식으로 최종 승인을 하면 문제가 없어 보이지만, 만약 얼굴인식으로 송금을 승인하면 왠지 불안함을 느낄 수도 있을 것 같다. 나와 닮은 사람을 동일인으로 인식하진 않을까?

또한 경찰에 잡힌 용의자가 "CCTV에 나온 얼굴은 제가 아니에요"라며 강하게 주장한다면 어떻게 될까? 사람 말을 믿을 것인가, AI의 판단을 신뢰할 것인가? '신뢰성'에 관한 의문을 안고 김익재 소장에게 질문을 이어갔다.

-얼굴인식이 지문인식보다 더 정확할 수 있는 것인가요?

"지문보다 정확하다기보다는 지문만큼 정확하다고 말하는 게 정확해 보여요. 우선 전제하고 싶은 것은 세상에 100% 완벽한 기술은 없다는 거예요. 100%를 향해 도전하는 것이죠. 그건 지문인식도 마찬가지죠. 이 기술의 목표는 정확하게 스캔된 지문처럼, 촬영 조건이 달라져도 '이 사람이 저 사람이다'를 확인하는 거예요. 높은 화소의 데이터가 전제된다면 현재의 얼굴인식 기술은 지문인식만큼 신뢰할 수 있어요.

또한 얼굴인식 기술은 지문인식과 비교해, 더 많은 정보를 활용하기 때문에 다양한 분야에 활용될 수 있어요. 지문은 접촉방식으로 스캔을 해야 하지만 얼굴인식은 비접촉식으로 원거리에서도 활용이 가능하죠. 특히 지금과 같은 팬데믹 시절엔 감염우려로 비접촉 방식을 선호합니다. 얼굴인식 기술은 2015년 페이스북이 기술을 발표한 이후 본격적으로 관심을 끌기 시작했어요. 아직 기술의 진보가 더 필요한 부분도 있지만, 사람들이 얼굴인식 정보를 지문만큼 신뢰하는 시점도 곧 올 것이라고 봅니다."

-얼굴인식을 위해 더 필요한 기술적 진보란 무엇을 말하죠?

"결국 화소 문제예요. 고화질의 사진과 굉장히 흐리게 찍힌 사진을 서로 비교하는 것은 아직 쉽지 않아요. 영화에서 보면 저화질 사진을 고화질로 쉽게 바꾸는 장면이 나오는데, 그런 기술은 정보가 없는 데서 정보를 만들어내는 것이라 과학적으로는 매우 어려워요. 결국 저해상도 사진에서도 '이 사람이 저 사람이다'를 확인할 수 있도록 AI를 학습시켜야 해요. 현재 우리 연구소도 연구를 진행 중이지만 아직은 도전적인 과제죠. 이 밖에 가시광선 카메라 외의 촬영을 통해 초상권 이슈에서 자유로우면서도 얼굴인식이 가능하도록 하는 연구도 여러 곳에서 시도하고 있어요."

몸의 특징까지 식별할 수 있다

카카오엔터프라이즈 사옥 앞에 설치된 워크스루에서 모자와 마스크를 쓴 임직원이 신원 확인을 하고 있다. 카카오엔터프라이즈

-멀리 떨어진 사람의 얼굴인식에 한계가 있다면, 100m 거리의 사람을 CCTV로 추적하는 것은 불가능한 것 아닌가요?

"얼굴인식으로는 한계가 있지만, 이런 경우 몸 전체의 특징을 활용하면 가능하죠. 이를 재식별 기술이라고 불러요. 재식별 기술도 얼굴인식 기술처럼 AI 딥러닝을 활용해 특징을 추출하는 방식이에요. 신장, 성별, 인상착의 등을 자동으로 분석해 동일 인물을 파악해요. 이 시스템을 특정 지역 CCTV와 연결하면 이동경로까지 파악할 수 있습니다. 이 기술은 실종 아동 수색에 큰 도움을 줄 수 있어요. 보통 실종 신고는 실종 두세 시간 지난 뒤 들어오는데, 경찰이 확인해야 하는 CCTV가 수십 대가 넘어요. 대여섯 명의 형사들이 본다고 하더라도 시간이 소요되고 그 시간에도 실종 아동은 계속 이동을 하죠. 재식별 프로그램이 있으면 수 분 안에 실종자 위치를 찾아낼 수 있습니다. 용의자를 찾을 때도 사람이 일일이 하는 것보다 더 정확하고 빠르게 할 수 있을 겁니다."

재식별 기술을 시연하는 KIST AI·로봇연구소 연구진. KIST 제공

KIST AI·로봇연구소는 2018년 과학기술정보통신부, 산업통산자원부, 경찰청 등이 공동 발주한 '실종 아동 확인을 위한 복합인지 기술사업' 연구자로 선정돼 프로그램 개발을 진행하고 있다. 초상권 등 문제를 해결하기 위해 연기자 1,000여 명을 섭외해 특정 장소를 돌아다니게 한 뒤, 그 CCTV 영상을 기반하여 딥러닝을 진행해 프로그램을 개발했다. 해당 프로그램은 올해 말 안양시에서 연구를 실증할 예정이다.

기자는 KIST가 개발 중인 프로그램 시연에 참여했다. 8월 2일 오전 9시 4분부터 10분까지 서울 성북구 KIST CCTV 5개의 영상을 가지고 시뮬레이션을 했다. 기자가 원하는 특정 인물을 찾아내라는 명령어를 입력하자, 출구로 들어오는 모습부터 캠퍼스 내 오솔길을 올라오는 모습까지 영상 내 해당 인물이 찍힌 CCTV의 영상과 그의 시간별 동선이 출력됐다. 평범한 인상착의의 인물이었지만, 인물을 선택하고 동선을 추출해 내는 데까지 20초도 채 걸리지 않았다. 김익재 소장은 "제가 아는 범위에서는, 재식별 기술을 이 정도로 실현해 내는 곳은 현재 KIST밖에 없다"며 "상용화가 되면 아동이나 노인 등 실종자를 찾는 데 큰 성과를 낼 것으로 기대한다"고 말했다.

김익재 소장은

서울대 공과대학에서 박사학위를 딴 뒤 2009년 매사추세츠 공과대학(MIT) 미디어랩에서 박사후연구원을 지냈다. 1998년 KIST에 합류했으며, 현재 대통령 경호처 과학기술자문위원, 경찰청 과학수사 자문위원을 지내고 있다.

2015년 AI에 기반해 5세부터 80세까지 나이 변환이 가능한 3D 몽타주·얼굴인식 기술을 국내 독자기술로 세계 최초로 개발, 과학치안 분야 기술 고도화에 기여했다. 이 같은 공을 인정받아 김 소장은 3월 공학한림원의 젊은공학인상을 수상했다.

최동순 기자 dosool@hankookilbo.com