금메달 아깝게 놓친 인공지능

수학영재 실력 버금가는 인공지능
기존 한계 넘어 증명 문제도 해결
다음 승부 누가 앞설지 예측 불가

편집자주

과학 연구나 과학계 이슈의 의미를 이해하기 쉽게 설명하고, 우리 사회의 다양한 일들을 과학의 눈으로 분석하는 칼럼 ‘사이언스 톡’이 3주에 한 번씩 독자들을 찾아갑니다.

게티이미지뱅크

구글 딥마인드가 개발 중인 인공지능(AI)의 수학 실력이 세계 최고의 수학 영재들과 어깨를 나란히 할 만큼 향상됐다. ‘알파프루프’와 ‘알파지오메트리2’라는 AI 모델을 함께 작동시킨 시스템이 지난달 영국에서 열린 국제수학올림피아드에 출제된 문제 6개 중 4개를 풀어낸 것이다. 국제학술지 ‘네이처’는 이 시스템이 낸 답안의 점수가 놀랍게도 금메달 수상 범위에 단 1점 모자랐다고 전했다. 학계는 AI와 수학 분야에 모두 중요한 이정표라는 평가를 내놓았다. AI가 수학만큼은 인간에 밀린다는 인식을 바꿔 놓았기 때문이다.

구글 딥마인드의 ‘알파고’가 프로 바둑기사 이세돌을 이겼을 때만 해도 AI에게 수학은 넘사벽 수준이었다. 대부분의 AI는 방대한 양의 데이터를 기계적으로 학습해 문제를 해결한다. 수많은 데이터 사이에서 적절한 답을 찾아내거나, 복잡하고 많은 연산을 빨리 해내거나, 기존 데이터를 사람이 미처 생각지 못한 방법으로 응용해 창의적인 결과물을 만드는 데는 유리하다. 하지만 고도의 사고력과 추론으로 새로운 논리를 만들어내는 올림피아드 수준의 수학 문제를 해결하는 건 AI에게 쉽지 않다는 예상이 지배적이었다.

인간이 오만했던 걸까. 올 1월 구글 딥마인드가 ‘네이처’를 통해 공개한 ‘알파지오메트리’는 AI의 수학 잠재력이 인간의 예상을 뛰어넘을 수 있다는 걸 여실히 보여줬다. 2000년부터 2020년까지 출제된 국제수학올림피아드 문제 30개를 풀게 했더니 알파지오메트리가 무려 25개를 해결했다. 역대 이 대회 금메달 수상자들이 평균 25.9개 문제를 풀었다는 기록과 비교하면 결코 뒤지지 않는 실력이다.

학계가 특히 주목한 건 알파지오메트리가 기하학 증명 문제를 스스로 풀었다는 점이다. 다양한 연산이 반복되거나 정해진 유형에서 크게 벗어나지 않는 일반적인 교과 수학과 달리 올림피아드에는 여러 이론을 이용해 추상적인 사고를 논리적, 다층적으로 전개해야 하는 증명 문제가 나온다. 때론 처음 해보는 시도도 필요하고 풀이를 거꾸로도 추적해봐야 한다. 기존 데이터에 의존하는 기계학습만으론 증명이 어렵지만, 알파지오메트리는 사람의 뇌처럼 스스로 학습하는 신경망 모델을 합쳐 논리를 강화하는 방식으로 AI의 한계를 넘었다는 평가를 받았다.

그리고 불과 반년이 지나 공개된 알파프루프에는 한발 더 나아가 수학에 최적화한 엔진(알파제로)과 프로그래밍 언어(Lean)가 장착됐다. 인간이 작성한 풀이법을 수동적으로 학습하는 데 그치지 않고 능동적으로 데이터를 합성해 스스로와 경쟁하는 식의 훈련을 시도했다는 알파프루프는 올림피아드에서 나온 대수와 수론 문제를 사흘에 걸쳐 풀어냈다. 첫 번째 버전보다 각도, 비율, 거리에 대한 이해도가 높아진 알파지오메트리2와 알파프루프의 이번 협업을 두고 수학계와 AI업계에선 “매우 큰 진전”, “위대한 도전”이란 호평이 이어졌다.

수학을 잘하기 위해 AI가 밟아온 과정을 들여다보면 흥미롭게도 우리에게 익숙한 공부 방법과 크게 다르지 않다. 단순한 연산에서 복잡한 연산으로 넘어갔고, 공식과 이론 데이터를 토대로 답을 찾는 훈련을 했고, 다양한 유형의 문제들을 학습해 응용 문제도 풀게 됐다. 그 과정에서 어려운 증명에 도전할 수 있을 만큼 논리적 사고력이 향상된 것이다. 인간과 AI의 진검 승부는 수학 수준이 비슷해진 이제부터가 시작이다. 알파프루프와 알파지오메트리2가 못 푼 두 문제는 조합론이다. AI 알고리즘 설계의 근간인 조합론의 승자가 내년에는 AI가 될까, 수학 영재가 될까.

임소형 미래기술탐사부장 precare@hankookilbo.com