인공지능(AI) 시스템이 사회 곳곳에 응용되기 시작해 혁명적인 변화의 파도가 일고 있다. 하지만 첨단 기술을 통해 얻을 수 있는 편리함에 반해 여러 가지 치명적인 악용사례와 단점 등이 나타나면서 사회 문제로 떠올랐다.
◆딥페이크…범죄수단의 대명사 되다
영화의 한 장면에 다른 사람의 얼굴을 넣어 주인공으로 변신할 수 있는 기법은 널리 알려진 딥페이크 기술 중 하나다. 한때 유행으로 번져 SNS 등지에서 관련 영상 게시물을 쉽게 접할 수 있을 정도였다. 하지만 이처럼 흥미로웠던 딥페이크 기술을 악용하는 케이스가 늘면서 범죄로까지 이어지는 경우가 나타나고 있다.
딥페이크는 AI 알고리즘을 적용해 이미지와 오디오, 동영상 등의 미디어 파일을 수정∙생성하는 기술이다. 훈련된 AI 모델을 통해 실제 발생하지 않은 상황에 대해 정밀한 수준의 시뮬레이션이 가능하다. 보편적으로는 TV CF에 활용되기도 한다. 예를 들어 한 유제품 광고에는 CF 출연자와 어린 시절 가상 캐릭터가 함께 등장해 눈길을 끌었다. 물론 어린 시절 캐릭터는 AI 기술로 가상 생성된 것이다.
하지만 해당 기술을 악용한 사례가 등장하기 시작했다. 유명인 및 일반인의 얼굴을 합성해 수익을 창출하거나 협박 및 유포하는 등의 범죄수단으로 악용되고 있다. 뿐만 아니라 정치인의 얼굴을 합성해 가짜뉴스로 여론을 선동하는 데 쓰이기도 한다.
지난 24일 방송통신위원회가 내놓은 딥페이크 성범죄 대응 강화 방안에 따르면 2021년 통계 작성 이후 방통위 심리, 피해자 지원 건수는 올해 5배 이상 증가했다. 특히 피의자∙피해자 중 10대 비중이 73.6%다. 10대 딥페이크 성범죄는 1∼10월 사이 피해 신고는 542건, 피해자도 901명에 달했다.
더구나 비전문가들도 손쉽게 딥페이크 합성 영상물 제작이 가능하다. 관련 애플리케이션이 쏟아져나오는 추세고 사용법 역시 유튜브로 손쉽게 접근할 수 있다. 처음엔 재미로 시작했다가 딥페이크를 악용하는 형태로 진화할 수 있는 환경이 조성된 것이다.
또한 갈수록 정교해지는 기술 탓에 딥페이크로 제작된 가짜뉴스는 일반인이 판별조차 어렵다는 점이다. 지난해 11월 정부가 실시한 설문조사에 따르면 응답자 41.9%는 “딥페이크 가짜뉴스를 판별할 수 없다”고 밝혔다. 아울러 응답자의 94.5%는 가짜뉴스가 개인과 사회에 미치는 영향이 심각하다고 대답했다. 이 중 매우 심각하다고 응답한 비율은 55.9%, 심각하다고 응답한 비율은 38.5%였다. 딥페이크 가짜뉴스를 접해본 응답자는 39%였으며, 딥페이크 가짜뉴스의 악영향으로 가장 우려되는 점은 인격적 피해가 48.2%로 가장 높았다. 해당 설문조사는 약 한 달간 진행됐으며 597명의 국민이 참여했다.
◆믿을 게 못 되는 ‘AI 뉴스 요약’
“유나이티드 헬스케어 CEO 브라이언 톰슨의 살인 혐의로 체포된 루이지 맨지오니가 자살했다”
애플 인텔리전스가 뉴스 요약 기능으로 띄운 내용이다. 하지만 해당 뉴스는 AI의 요약 오류였다. 실제로는 ‘루이지 맨지오니가 살인 혐의로 기소된 이후, 펜실베이니아 주립 교도소에 이감됐다’는 내용이 사실이었다.
AI가 생성해내는 뉴스 요약 기능 역시 논란이다. 최근 애플은 iOS 18.2 소프트웨어 업데이트를 통해 일부 국가에 애플 인텔리전스 알림 요약 기능을 내놨다. 애플 자체 AI가 알림 기능의 세부 정보를 요약∙표시해주는 기능이다. 하지만 뉴스 매체의 보도 내용을 왜곡해 제목을 추출하거나 출처 오류를 나타내는 경우가 빈번하다. 최근 애플 인텔리전스는 영국 BBC와 미국 뉴욕타임스의 뉴스와 관련해 잇따라 치명적인 요약 오류를 범했다.
최근 미국 IT 매체 맥루머스에 따르면 국경 없는 기자회(RSF)는 애플의 애플 인텔리전스 알림 기능을 두고 “생성 AI 기능이 신뢰할 수 있는 저널리즘을 위협하고 있다”며 해당 기능 삭제를 촉구했다.
뿐만 아니라 타 생성형 AI의 요약 서비스 역시 오류가 잦다. 오픈 AI의 검색 챗봇 ‘챗GTP 서치’는 뉴스 매체의 보도 내용을 왜곡하거나 잘못된 출처를 표기하는 경우가 나타나고 있다. 뉴스뿐만 아니라 이메일, 메시지 등의 문맥을 파악하지 못해 잘못된 내용을 제공해 혼란을 야기하기도 한다.
김지웅 메이크봇 대표는 “갈수록 진보한 AI 기반의 기술들이 등장할 것”이라면서도 “악의적인 이용에 대한 예방과 대응을 위한 전 국민 대상 관련 교육이 요구되는 때이며, AI 뉴스 요약 기능 역시 불안정하기 때문에 텍스트 그대로 무분별하게 받아들이면 안 된다”고 지적했다.
김재원 기자 jkim@segye.com
사진 설명: 전국교직원노동조합원들이 지난 8월 서울 종로구 정부서울청사 앞에서 열린 학교 불법합성물(딥페이크) 성범죄 실태조사 결과 발표 기자회견에서 구호를 외치고 있다. 사진=뉴시스
