세계 최초 ‘뚫리지 않는 암호’ 개발한 천정희 크립토랩 대표

열쇠가 컴퓨터에 없는 동형암호 기술 개발
"암호칩 만들자" 삼성 IBM 인텔 등에서 제의

컴퓨터에 저장된 자료를 훔치려는 해킹과 이를 보호하는 암호기술은 창과 방패의 싸움이다. 해킹은 도둑질을 넘어 원자력 발전소 등 국가 기반시설을 마비시키는 테러수준까지 번지고 있다. 그만큼 각국 정부는 이를 막기 위한 암호기술을 국가적 과제로 삼아 개발에 총력을 기울이고 있다.

암호기술을 개발하는 국내의 작은 신생기업(스타트업) 크립토랩이 전 세계의 주목을 받는 이유다. 창업자 천정희(53) 서울대 수리과학부 교수는 2016년 세계 최초로 암호화된 상태에서 작업할 수 있는 난공불락의 동형암호 기술을 개발한 주인공이다. 수학이 세상의 절대 진리라고 믿는 천 대표를 만나 뚫을 수 없는 동형암호의 비밀을 들어 봤다.

천정희 크립토랩 대표는 세계 최초로 양자컴퓨터도 뚫지 못하는 동형암호를 개발했다. 서울대 수리과학부 교수인 그는 직접 개발한 동형암호 기술에 '혜안'이라는 이름을 붙이고 이를 상징하는 6각형 로고를 만들었다. 이한호 기자

열쇠가 컴퓨터에 없는 동형암호

동형암호는 한마디로 열쇠를 컴퓨터에 보관하지 않는 암호다. 기존 보안기술들은 암호화된 자료를 수정하는 등 작업하려면 열쇠로 암호를 해제해야 해서 컴퓨터에 열쇠를 함께 보관했다. 그렇다 보니 해커들이 컴퓨터에 침투해 열쇠를 가로채면 자료를 훔쳐갈 수 있다.

이 같은 폐단을 막기 위해 동형암호는 아예 열쇠를 컴퓨터에 보관하지 않는다. 컴퓨터에는 오로지 암호화된 자료만 존재한다. 따라서 해커가 컴퓨터에 침입해도 열쇠가 없어 암호 처리된 자료를 손댈 수 없다. 그렇다면 암호화된 자료 수정 등 작업을 하려면 어떻게 암호를 풀까. 여기서 천 대표의 획기적 발상이 빛난다.

천 대표가 개발한 세계 최초의 실수(實數) 계산이 가능한 동형암호는 자료의 암호를 해제하지 않고 암호화 상태로 작업한다. 따라서 암호화된 자료의 전체 내용을 작업자도 알 수 없다. "예전 암호기술이 자료를 금고에 넣고 잠근 뒤 일할 때마다 열쇠로 열고 들어가 자료를 꺼내 왔다면, 동형암호는 금고를 열거나 자료를 꺼내지 않고 원격으로 금고 내부에서 필요한 자료만 수정하는 식이죠."

이렇게 되면 작업 속도가 대폭 빨라진다. 굳이 작업을 위해 암호를 풀었다가 다시 암호화하는 과정이 필요 없기 때문이다. "은행에서 암호화된 자료의 숫자 반올림 작업을 하려면 암호를 해제하고 계산 후 다시 암호화까지 30분 걸렸어요. 2014년 정부 과제를 수행하며 알게 됐죠. 반면 동형암호는 그럴 필요가 없어 안전하고 편하죠."

암호처리된 자료를 다른 곳으로 옮기거나 복사하는 등 열쇠가 필요한 작업은 어떻게 처리할까. 이때도 열쇠가 필요없지만 전체 내용을 보려면 열쇠가 필요하다. 이를 위해 동형암호는 컴퓨터 외부에 열쇠를 보관한다. "스마트 안경이나 스마트 시계 등 외부에 암호를 저장하고 이를 컴퓨터가 인식해 작업을 할 수 있습니다."

양자컴퓨터도 못 뚫는다

동형암호는 현존 암호 기술 중 최고 수준으로 꼽힌다. 양자컴퓨터도 풀지 못하는 양자내성암호보다 한 단계 위다. "동형암호는 2003년 개발된 격자 암호를 기초로 해요."

격자 암호는 모눈종이처럼 수많은 가로 세로 선이 만나는 격자 위에 암호에 해당하는 점을 찍는 방식이다. 이 암호를 찾으려면 2차원 평면 격자무늬의 경우 암호 점에서 가장 가까운 주변의 점 4개를 찾아야 위치를 알 수 있다.

이를 3차원 정육면체로 바꾸면 찾아야 할 암호 점 주변의 격자가 더 늘어난다. 여기에 컴퓨터를 적용하면 100차원 이상으로 늘릴 수 있다. "100차원 넘어가면 컴퓨터도 암호가 찍힌 격자 점을 못 찾아요. 제가 개발한 동형암호는 700~1,000차원의 격자를 갖죠."

천 대표는 직접 개발한 동형암호 구성 기술(알고리즘)에 'CKKS', 이를 소프트웨어로 만든 솔루션에 '혜안'이라는 이름을 붙였다. CKKS는 발표 논문에 참여한 천 교수와 3명의 제자들 이름 앞글자를 하나씩 따서 만든 명칭이다.

동형암호를 쉽게 보여주는 그림. 천정희 크립토랩 대표는 동형암호를 금고에 보관된 보석을 꺼내지 않고 손만 집어넣어 수정하는 것으로 표현했다. 크립토랩 제공

국제 암호대회에서 기립 박수받아

천 대표는 동형암호 기술을 처음 소개한 논문을 세계암호학회에 냈다가 거부됐다. 심사위원들이 이해하지 못했기 때문이다. 그러다가 2017년 미국 보건원(NIH) 후원으로 열린 암호화된 상태에서 유전자를 분석하는 경진대회(IDASH)에 나가 '혜안'을 이용해 다른 암호기술보다 30배 빠른 속도로 문제를 해결해 전 세계에 주목을 받았다. "그 뒤로 논문을 내면 자동통과됐죠."

그런데 2018년 IDASH 대회에서 천 대표가 우승을 놓치고 4등에 머무는 황당한 일이 벌어졌다. "입상한 모든 팀이 혜안 기술을 이용해 대회에 참가했어요. 심지어 IBM도 가져다 썼죠. 학계에 발표한 논문은 누구나 이용할 수 있어 벌어진 일이죠."

정작 우승을 못했지만 시상식 때 천 대표는 기립 박수를 받았다. "수많은 암호학자들과 기술자들이 혜안의 중요성을 알아준 거죠. '사실상 오늘의 우승은 혜안'이라는 말을 듣고 감격스러웠어요. 학자로서 대단한 영광이죠.”

이를 계기로 천 대표는 창업을 결심했다. 암호기술의 상용화에 눈을 뜬 것이다. "개발한 기술을 제품으로 만드는 것이 중요해요. 그래야 다른 기업들이 발표 논문을 보고 기술을 갖다 써도 제품에 적용된 내용들로 기술 사용료 협상을 벌여 돈을 받을 수 있죠. 세계적 기술 기업들이 이런 방식으로 돈을 벌더군요."

동형암호 개발도구 무료 배포 예정

이렇게 해서 그는 2018년 회사를 창업했다. '혜안' 암호 솔루션을 상용화한 첫 제품은 이달 중 출시된다. "혜안을 활용하면 정부기관부터 은행, 병원, 포털, 전자상거래 업체 등 개인정보 등 각종 정보를 다루는 곳들이 동형암호기술을 적용한 보안장치를 만들 수 있어요."

천 대표는 동형암호가 전 세계적으로 논란이 되는 구글, 메타 등 거대 기업들의 지나친 개인정보 수집 문제에도 대응책이 될 것으로 본다. "구글을 이기는 유일한 방법은 그들이 개인정보를 보지 못하게 하는 것이죠. 동형암호를 이용하면 구글이 아무리 많은 데이터를 수집해도 정작 무슨 내용인지 볼 수 없어요."

이를 감안해 천 대표는 동형암호를 일단 무료로 배포할 생각이다. "사람들이 유용성을 알 수 있도록 동형암호를 개발도구(SDK)로 만들어 무료 배포할 생각입니다. 만약 이를 이용해 돈을 벌면 수익 배분을 요구해야죠."

크립토랩 대표인 천정희 서울대 수리과학부 교수가 서울 남대문로 한국일보사에서 인터뷰를 하며 세계 최초로 개발한 동형암호 기술을 설명하고 있다. 이한호 기자

"암호칩 만들자" 삼성 인텔 IBM 러브콜

여기에 그치지 않고 천 대표는 동형암호가 내장된 반도체를 개발한다. 이를 위해 삼성전자와 손잡고 동형암호 반도체 개발을 추진하고 있다. "암호기술의 가장 간편한 활용은 반도체에 내장해 각종 제품에 적용하는 것이죠."

미국 인텔도 천 대표에게 손을 내밀었다. "최근 미국에 가서 IBM과 인텔을 만나 동형암호 반도체 개발 제의를 들었어요. 인텔은 동형암호 반도체가 시장을 바꾸는 게임 체인저가 될 것으로 봐요."

동형암호 반도체가 나오면 스마트폰, 컴퓨터, 전자제품, 자동차 등 각종 장치에 손쉽게 적용할 수 있다. 그만큼 시장이 커질 수 있다. "2024년 동형암호 반도체가 나오면 시장이 폭발할 겁니다."

국제표준기구(ISO)에서도 동형암호 기술의 표준화 작업을 서두르고 있다. 이를 위한 가이드를 학자 6명이 만드는데 천 대표도 포함됐다. "우리 기술이 세계 표준이 되는 것이죠."

이 때문에 해외에서는 암호기술 반도체 개발에 적극 나서고 있다. 미국 국방고등연구계획국(DARPA)은 2020년부터 암호 반도체 개발을 시작했다. 암호 반도체 개발업체인 미국 코르나미는 지난 5월 소프트뱅크의 비전펀드2 등에서 6,800만 달러(약 973억 원)를 투자받았다.

천 대표도 지난 7월 스톤브릿지벤처스, 알토스벤처스, 키움인베스트먼트 등에서 210억 원을 투자받았다. "해외 기업들도 투자에 관심을 보이고 있어요. 미국 정보기술(IT) 기업 웨스턴디지털에서 투자 제의를 했죠. 반도체 업체들도 전략적 투자사로 참여할 수도 있습니다."

MS보다 수학자가 많은 회사

천 대표는 "동형암호 기술이 워낙 독보적으로 앞서서 전 세계에 경쟁업체가 없다"고 자신했다. 앞선 기술의 비결은 남다른 개발력이다. 그는 세계적 기업 마이크로소프트(MS)보다 많은 수학자를 직원으로 데리고 있다. "전체 직원 35명 중 수학자가 10명입니다. 이들이 암호화 기술을 연구해요. MS 연구센터에도 수학자가 10명이 안 돼요."

이들은 LG유플러스와 양자통신암호 기술도 개발하고 있다. LG유플러스는 천 교수의 동형암호 기술을 이용해 통신망과 이동통신 이용자들의 서비스를 보호할 계획이다. "스마트폰을 이용한 금융거래, 각종 데이터 전송 등에 동형암호를 적용하면 이동통신 가입자들의 개인정보를 안전하게 보호할 수 있죠."

크립토랩 대표인 천정희 서울대학교 수리과학부 교수의 꿈은 한국을 암호기술의 성지로 만드는 것이다. 또 기초 연구를 위해 수학자를 양성하는 재단 설립도 꿈꾸고 있다. 이한호 기자

‘절대 진리’에 빠져 바뀐 인생

원래 천 교수는 카이스트에 물리학으로 입학해 2학년 때 수학으로 전과해 박사 학위까지 받았다. "물리는 새로운 이론이 나오면 과거 증명한 내용이 바뀔 수 있어요. 하지만 수학은 그렇지 않아요. 한 번 입증하면 절대 진리죠. 1+1=2라는 것이 바뀌지 않죠. 수학의 매력은 절대 진리의 발견에 있어요."

수학의 정수이론으로 박사 학위를 받은 그는 한국전자통신연구원(ETRI)의 암호기술 연구원으로 뽑혀 3년 동안 근무했다. 이후 미국 브라운대 유학을 다녀와 정보통신대학원 교수를 거쳐 2003년부터 서울대 수학과 교수로 강단에 섰다. "ETRI에서 암호기술 연구를 처음 시작했어요. 이영 중소기업부 장관은 카이스트 수학과 동문입니다."

그의 꿈은 한국을 암호기술의 성지로 만드는 것이다. "감히 넘볼 수 없는 초격차 기술을 개발해 동형암호를 배우려면 한국에 가야 한다는 말이 나오게 하고 싶어요. 이미 프랑스에서 고급 연구원들이 회사에 인턴 지원을 하고 있어요."

개인적 목표는 수학자 양성을 위한 혜안재단을 세우는 것이다. "원천 기술을 개발하는 기초 연구가 중요한데 정부는 응용 학문에만 힘을 쏟아요. 5년 후 인공지능(AI)과 소프트웨어 개발자는 인력이 넘칠 겁니다. 정부는 기업이 하지 못하는 원천 기술 육성 같은 일을 해야죠. 저라도 그런 일을 하고 싶어요."

최연진 IT전문기자 wolfpack@hankookilbo.com