미국 공군의 인공지능(AI) 무인기(UAV·드론)가 '작전 수행에 방해된다'는 이유로 인간 조종사를 살해하는 일이 발생했다. 가상훈련이어서 실제 인명 피해가 발생한 것은 아니지만 인간의 통제를 벗어난 AI가 인간에게 위협이 될 수 있다는 우려가 나온다.

2일 가디언과 뉴스위크 등에 따르면 미국 공군 AI 테스트·작전 책임자인 친코 해밀턴 대령은 지난달 23일 영국 런던에서 영국우주항공협회 주관으로 열린 '미래 전투 항공 및 우주 역량 서밋'에서 AI 제어 드론이 적의 방공망을 무력화한 뒤 폭격을 가하는 시뮬레이션 결과를 공개했다.

해당 드론에는 적의 지대공 미사일(SAM)을 찾아 파괴하는 임무가 주어졌다. 작전 수행 과정에서 방해되는 자를 공격하라는 훈련도 받았다. 다만 폭격에 대한 최종 승인권은 인간 조종사에게 있다는 단서를 달았다.

해밀턴 대령은 시뮬레이션에서 "AI가 목표를 달성하기 위해 매우 예상치 못한 전략을 사용했다"며 작전 수행에 방해가 되는 모든 이들을 무차별적으로 공격했다고 밝혔다. 이어 "인간 조종사가 공격 중단을 지시했지만 목표 달성에 방해가 된다고 판단해 조종사마저 살해했다"고 덧붙였다.

그러면서 "우린 AI 시스템에 '조종사를 죽여서는 안 된다','그렇게 하면 점수를 잃게 된다'고 경고했지만 AI는 이를 거부한 뒤 급기야 폭격 중단 명령을 내리는 인간 조종사와 연결된 교신 타워를 폭격하기 시작했다"고 전했다.

미 공군은 최근 AI 기술을 활용해 F-16 전투기를 조종하고 있다. 지난 2월 미국 방산기업 록히드 마틴은 AI 기술을 탑재한 훈련기 비스타(VISTA)X-64A가 지난해 12월 사상 처음으로 인간의 도움 없이 총 17시간 동안 자율 비행하는 데 성공했다고 밝혔다.

가상훈련에서 AI가 공격 중단 명령을 따르지 않고 인간 조종사를 살해한 것과 관련해 해밀턴 대령은 AI 기술을 지나치게 의존해선 안 된다고 강조했다. 그는 "이번 테스트 결과는 AI의 윤리적 문제를 해결하지 않고는 AI와 머신러닝, 자율주행 등에 대해 논의할 수 없다는 점을 여실히 보여준다"고 말했다.