군이 2021년부터 '국방 인공지능(AI) 추진전략'의 하나로 AI 윤리 기준 정립을 내세우고 있으나, 지금까지 AI 기반 무기체계 개발을 위한 민간업체 공모 과정에선 ' 윤리성 평가' 기준을 전혀 적용하지 않은 것으로 확인됐다. 같은 기간 공모를 통과해 사업을 수행 중인 국내 방산업체 중에서도 'AI신뢰성 검증'을 받은 곳은 한 군데도 없었다. 군이 AI 무기의 기술 개발에만 치중할 뿐, AI 무기 사용의 기반이 되어야 할 윤리성 문제를 소홀히 하고 있다는 비판을 피하기 어려울 것으로 보인다.
18일 한국일보 취재와 배진교 정의당 의원(국방위원회)이 방위사업청과 해군으로부터 받은 자료를 종합하면, 방사청은 2021년부터 올해 2월까지 총 25건의 '산학연 주관 무기체계 패키지형 핵심기술'과제를 수행하고 있다. 25건 중 AI 기술이 활용되거나 탑재되는 무기체계 개발 과제는 8건에 이른다.
그러나 방사청은 이 8건의 수행 주체로 최종 선정된 민간업체 등의 제안서를 검토하면서 AI 윤리성을 담보할 안전도 및 신뢰도의 평가 기준을 적용하지 않았다. 관련 기준이 아예 없었기 때문이다.
AI 기반 무기체계 과제엔 국내 주요 방산업체들이 참여하고 있다. 그 중 하나는 작년 11월 LIG넥스원이 개발 착수를 발표한 '잠수함용 지능형 임무지원시스템 통합자동화 기술'이다. '잠수함의 적 탐지·추적→식별·위험평가→무장할당·전술운용' 과정에 AI를 접목한 것이다.
해군도 지난해 12월 '전투용 무인잠수정 개념설계 기술지원 연구용역 사업'을 위해 대우조선해양을 선정해 계약했으나, 업체의 제안서 평가 기준에는 AI 기술의 윤리성과 관련한 안전도·신뢰도 평가기준이 없는 것으로 확인됐다.
이에 대해 방사청 관계자는 "AI의 신뢰성을 담보하고자 국방부가 관련 윤리 기준을 세우고 있어, 국방부와 연계해 향후 마련될 기준에 따라 업무를 추진할 것”이라고 설명했다. 해군은 "해당 사업은 군의 요구사항을 기술적으로 구체화 하는 단계로, 제안서엔 AI기술의 윤리성 평가 기준이 없다"며 "향후 기본설계 단계에서 관련 부대와 협조해 AI 윤리성 평가기준 구축 등을 검토할 예정"이라고 했다.
군의 A I기반 무기 개발에 참여한 국내 방산기업 중 자발적으로 AI 신뢰성을 외부로부터 검증 받았던 사례 또한 1건도 없는 것으로 파악됐다. 과학기술정보통신부 산하 한국정보통신협회(TTA)는 지난해 2월 △계획 및 설계 △데이터 수집 및 처리 △모델화 △시스템 구현 △운영 및 모니터링 등 AI 개발 모든 단계에 걸쳐 15개 요구사항, 65개 검증항목을 만들고 모든 민간 기업이 자율적으로 AI 신뢰성을 검증 받도록 하고 있다. 이는 공공영역에서 유일하게 구축한 AI 신뢰성 외부 평가 체계다. TTA 관계자는 "AI면접 솔루션 기업 제네시스랩, 산불 자동 감지 솔루션 업체 알체라 등 여러 분야 기업이 AI신뢰성 검증을 거쳤으나 대형 방산업체 중에서 검증을 받은 곳은 없었다"고 밝혔다.
이에 대해 방산업체들은 AI 기반 무기체계의 최종 사용자가 군이므로, AI 윤리에 대한 군의 요청 사항이 있으면 이를 따르겠다는 입장이다. LIG넥스원 관계자는 "방위사업은 기업-정부 납품 방식(B2G)으로 진행하기 때문에, AI 무기체계 도입 역시 윤리성 확보 등에 대한 군의 요구조건이 정해지면 그에 따라 사업을 진행할 것"이라고 밝혔다. 대우조선해양 관계자도 "사업 단계에 따라 군과 협의해 AI 윤리성에 대한 가이드라인 등을 마련해 나갈 것"이라고 말했다.
한화시스템 관계자는 미 국방부가 2020년 발표한 AI 사용 5원칙(책임성, 공정성, 추적성, 신뢰성, 통제가능성)을 기준으로 AI 기술을 개발 중이라고 설명하면서 "현재 개발 중인 전차 능동방호시스템에 적용하는 AI 기술은 ‘영상 또는 레이더 신호 기반 객체인식 및 분류’에 한정돼 고위험 인공지능은 아니다"고 밝혔다.
전문가들은 해외에서 AI 윤리 법제 움직임이 빨라지고 있는 만큼 국내 방산기업의 AI 외부검증 움직임도 속도를 낼 것이라고 전망했다. 박도현 광주과학기술원(GIST) AI대학원 법정책 연구실 교수는 "선진국에 첨단 무기체계를 수출하려는 국내 방산기업들도 윤리성 규제에 초점을 맞춘 유럽연합(EU)의 AI법 등의 준수를 고려해야 할 시점이 오고 있다" 며 "한국은 2020년 '국가AI윤리기준'을 정하고 AI 신뢰성 외부 검증의 토대를 마련했는데, 국방 분야 민간기업도 이런 기조를 따라갈 필요가 있다"고 진단했다.
방산기업들은 국회에 계류된 '인공지능법'의 영향을 받을 가능성도 있다. 최근 국회 과학기술정보방송통신위원회 법안심사소위에서 최종 수정된 인공지능법안은 △국가기관 등이 사용해 국민에게 영향을 미치는 의사결정(전쟁 등)을 위해 활용되는 AI △국민의 안전, 건강 및 기본권 보호에 중대한 영향을 미치는 AI 등을 '고위험영역 인공지능'으로 정의하고 있다. 법안 제정 및 심의에 참여한 복수의 과방위 관계자는 "국가기관이 사용하는 고위험영역 인공지능에는 국방부나 군이 군사적으로 활용하는 AI도 포함될 수 있다"고 설명했다.
▶ 목숨 좌우할 AI무기, 기술 계획만 있고 '윤리 로드맵'이 없다
https://www.hankookilbo.com/News/Read/A2023041415560000383
▶ 알고리즘은 당신의 반쪽을 알고 있다…'자만추'보다 자연스러운 '알만추'
https://www.hankookilbo.com/News/Read/A2023041212030001863
▶ 부모님 따라 정했던 프로야구 응원팀…이제 AI 알고리즘이 정한다?
https://www.hankookilbo.com/News/Read/A2023041213560003262