AI(인공지능)를 악용한 딥페이크 성범죄가 확산하는 가운데 국내외 플랫폼 업계의 대응이 분주하다. 네이버·카카오 등 국내 플랫폼 기업들은 정부의 강경 대응 기조에 부응해 신고 채널을 개설하며 피해 확산 방지에 나섰고, 글로벌 빅테크도 딥페이크 콘텐츠 방지 기술을 개발하는 등 적극 대응하고 있다.

29일 IT(정보기술) 업계에 따르면 네이버(NAVER (189,700원 ▼3,400 -1.76%))와 카카오 (35,150원 ▼350 -0.99%)는 딥페이크 영상물이나 이미지 등 콘텐츠를 신고할 수 있는 신고 채널을 개설했다. 네이버와 카카오는 단순히 타인의 콘텐츠를 게시하거나 유통한 경우에도 문제가 될 수 있다고 경고했다. 그러면서 본인을 포함한 특정인의 초상과 성적 이미지의 합성 제작을 제안·요청하는 경우에도 신고해달라고 당부했다.

국내 플랫폼 업계는 지난 4월 제22대 국회의원선거를 앞두고 딥페이크를 악용한 가짜뉴스가 판치면서 본격적으로 대응을 시작했다. 과학기술정보통신부와 방송통신위원회 등 관계 부처가 대응에 나섰고 한국인터넷기업협회는 '악의적 선거 딥페이크 사용 방지를 위한 공동선언'을 채택했다. 지난 5월에는 국내외 14개 기업이 안전한 AI 사용을 위한 '서울 기업 서약'을 발표하기도 했다.

네이버는 안전한 AI 환경을 위해 2017년 개발한 실시간 AI 이미지 필터링 시스템 '클로바 그린아이'를 네이버 카페, 블로그 등에 적용하고 있다. 네이버는 2021년 클로바 그린아이를 2.0 버전으로 고도화해 정확도를 99.5%까지 높였다. 네이버가 올해 상반기 제한한 869만여 건의 콘텐츠 중 96%가 클로바 그린아이를 통해 걸러졌다. 네이버는 24시간 모니터링 체제도 가동 중이다.

카카오도 카카오톡 오픈채팅, 포털 다음, 카카오 내 공개 게시판 서비스 등에서 악의적인 딥페이크 콘텐츠 유통을 감시하는 모니터링을 진행하고 있다. 카카오톡의 경우 허위 영상물 배포·제공 행위 적발 시 카카오톡 전체 서비스를 영구 제한한다. 지난 1월에는 KISO(한국인터넷자율정책기구)와 협의해 포털 다음에서 딥페이크 관련 검색어를 청소년 보호 검색어로 지정하기도 했다.

외국 플랫폼도 딥페이크 규제에 힘쓰고 있다. 구글은 이용자 신고와 자동화된 시스템을 활용해 불법적인 딥페이크 콘텐츠를 추적 및 식별하고 있다. 지난해 12월 불법 딥페이크를 탐지할 수 있는 새로운 AI 기반 도구를 개발 중이라고 밝혔다. 지난 5월에는 AI를 이용해 음란하거나 과도한 노출이 포함되도록 변경하거나 생성할 수 있는 서비스의 광고를 금지했다.

유튜브는 콘텐츠의 불법성을 판단하기 위해 2만 명 이상의 리뷰어와 머신러닝 기술을 활용해 자사 가이드라인을 준수하는지 확인하고 있다. AI로 잠재적 위반 가능성이 있는 콘텐츠를 감지하고, 리뷰어가 해당 콘텐츠가 실제로 정책을 위반했는지 확인하는 방식이다. AI를 활용해 제작한 콘텐츠에는 식별할 수 있는 라벨을 달도록 했다.

플랫폼 업계 관계자는 "현재 사회적으로 문제가 된 딥페이크 콘텐츠의 경우 텔레그램이나 비제도권인 다크웹 등에서 주로 공유되고 있는 것으로 보인다"며 "생성형 AI가 본격적으로 세상에 등장하기 전부터 대부분의 플랫폼 기업들은 불법 합성 등 음란물이나 가짜 뉴스에 적극적으로 대응해 왔다"고 말했다.