유례 없는 생성형 AI 발전과 확산에 윤리의식과 법·제도가 따라가지 못하고 있다. 생성형 AI에 대한 문화 지체가 발생하는 것인데, 이는 다양한 방식으로 우리의 삶에 위험으로 다가오고 있다. 생성형 AI를 통해 만들어낸 결과물인 ‘AI 커버’와 ‘딥페이크 음란물’을 둘러싼 다양한 문제를 살펴본다.

생성형 AI와 변화하는 활용 양상

생성형 AI는 데이터 원본을 이용한 학습으로 새로운 작품을 창조하는 인공지능(이하 AI)이다. 일반 AI와 달리 다양한 형식의 결과물을 도출할 수 있다는 장점이 있지만, 악용할 경우 사회적 문제가 되는 결과물을 생산할 수 있다.

처음 문제가 제기된 건 2017년 7월 오바마 미국 전 대통령이 연설하는 비디오를 만드는 도구가 개발되고서부터였다. 이후 같은 해 11월 웹사이트에 생성형 AI로 영상을 만드는 알고리즘이 공유됐고, 과정을 더욱 단순화한 애플리케이션 FakeApp은 이듬해 1월 나온 이후 5억 회 이상 다운로드됐다. 최근에는 생성형 AI를 이용해 음란물을 제작한 사건이 있었다. 생성형 AI로 음성을 조작하기도 했다. 2019년 8월 영국 에너지 회사 CEO의 목소리를 따라 해 이익을 얻고자 한 사건이 있었으며, 특히 최근에는 연예인의 목소리로 노래를 부르는 생성형 AI가 개발돼 논란이 됐다.

윤리적 공백 품은 딥보이스 기술, 누구나 쉽게 사용할 수 있어

생성형 AI 기술의 활용으로 소셜미디어에서 딥보이스 기술을 활용한 AI 커버 콘텐츠(이하 AI 커버)가 떠오르고 있다. 딥러닝(deep learning)과 목소리(voice)를 합쳐 만들어진 단어 ‘딥보이스’는 생성형 AI를 이용해 특정 인물의 목소리를 따라 하는 기술이다. 이 기술은 특정 인물의 목소리로 부르지 않은 노래를 감상할 수 있는 AI 커버에 활용된다.

AI 커버는 관련 툴과 시간만 있다면 누구나 제작할 수 있다. 뉴진스 AI 커버 채널 <enp>를 운영하는 유튜버 A 씨는 “AI 커버 제작에 30분 정도 시간이 소요된다”고 말했다. JYP 소속 아티스트 AI 커버 채널 <제공피>를 운영하는 유튜버 B 씨는 “제작 주체와 환경에 따라 다르겠지만, 최소 10분에서 최대 12시간 정도 소요될 수 있다”고 전했다.

AI 커버가 아티스트 팬덤의 주류 문화로 자리 잡으면서 이에 대한 대중의 반응도 다양하다. 명지대학교에 재학 중인 C 씨는 “내가 좋아하는 가수의 목소리로 특정 노래를 듣고 싶어 AI 커버를 시청한 적이 많다”고 답했다. 유튜버 A 씨는 “과거에 긍·부정이 비슷한 비율이었다면, 최근엔 긍정적 반응만 보이는 것 같다”며 달라진 반응을 언급했다. 유튜버 B 씨는 “호불호가 극명하게 갈리는 콘텐츠”라며 “AI 커버 소비에 회의적인 반응이 있었는데, 최근엔 잠잠해진 것 같다”고 설명했다.

한편, 기술을 사용하는 과정에서 ‘아티스트의 음성권 혹은 저작권이 침해되지 않냐’는 윤리적 논쟁이 치열하다. 누구나 활용할 수 있는 혁신적 기술인 것에 반해 사용자가 가지는 윤리의식이 부족하다는 것이다. 이에 유튜버 A 씨는 “저작권 침해 부분이 애매한 것 같다”며 “AI 커버를 불편해하는 아티스트의 음성으로는 작업하지 않는 것이 맞다”고 말했다. 유튜버 B 씨는 “아티스의 입장이 가장 중요한 것 같다”며 “아티스트가 AI 커버에 거부 의사를 비친다면, 즉시 제작 중단할 것”이라고 밝혔다. 대학생 C 씨는 “AI 커버가 권리 침해라고 생각한 적은 없었으나 다시 생각해 보니 권리 침해에 포함될 수 있을 것 같다”고 말했다.

디지털 성범죄로 이어진 딥페이크의 법적 공백

딥페이크란 딥러닝(deep learning)과 가짜(fake)의 합성어로 생성형 AI를 이용한 인간 이미지 합성 기술이다. 그러나 생성형 AI를 이용한 범죄가 기존 범죄의 범주에 속하지 않아 법률 개정이 이뤄지는 중이다. 올해 8월 20일에 처음 보도된 딥페이크 음란물 제작 사건은 주변 지인을 대상으로 만들어진 딥페이크 영상이 텔레그램 방 참여자들에 의해 제작·공유된 사건이다. 대학생 텔레그램 채팅방 참가자 수가 1,000명에 이르렀으며 집계 피해자 수는 학생 교원 포함 최대 196명 이상이다. 이에 대해 우리 대학 학우 D 씨는 “딥페이크 기술이 음란물로 악용될 줄 몰랐다”며 “법의 불완전성은 어쩔 수 없지만 빠른 대책 강구가 필요하다”는 의견을 밝혔다. 또한 “더 이상 범죄가 일어나지 않도록 정부 차원에서 힘써야 한다”고 말했다.

딥페이크 성범죄 관련 법률 개정 작업은 디지털 성범죄 대응 중심으로 이뤄졌다. 지난달 23일 국회 여성가족위원회에서는 아동·청소년의 성보호에 관한 법률과 성폭력 방지 및 피해자 보호

등에 관한 법률 개정안이 통과됐다. 이는 아동·청소년 대상 협박 및 강요 범죄 처벌형량 상향 등의 내용을 담고 있다. 법무부는 ‘AI 시대 불법행위 관련 민사법적 대응 방안 연구’ 용역을 발주해 AI 기술 활용 범죄에 민사법적으로 대응하고자 했다. 교육부도 관련 피해자가 학생과 교직원 중심으로 구성된 점을 감안해 긴급 태스크포스를 구성해 피해자의 심리 및 법률적 지원에 나섰다. 이 외에도 지난 8월 출범한 딥페이크 성범죄 관련 범정부 대응 태스크포스는 딥페이크 등 허위 영상물 관련 처벌 기준을 상향하는 법률 개정을 준비했으나 갑작스럽게 해산되어 공백이 생겼다.

마이크로소프트(Microsoft)는 AI로 인한 위험성이 여전히 존재한다면서 ‘악의적인 딥페이크 탐지 및 대응’과 ‘대중 인식 및 교육 증진’ 정책을 요구했다. 지난 7월 30일 발표된 ‘악의적인 AI 생성 콘텐츠로부터 대중 보호하기’ 보고서에서 브래드 스미스 마이크로소프트 사장은 사기 범죄에서의 AI 활용 제재를 위한 표준 모색을 촉구했다. 또한 비동의 사적 이미지 유포를 금지하기 위해 의회가 발의한 ‘유해 이미지 착취 방지 및 배포 제한 법안(SHIELD)’ 통과를 주장했다.

이용자 윤리적 의식의 공백

딥보이스와 딥페이크 등 생성형 AI를 활용하는 과정에서 사용자 개개인의 윤리적 의식은 여전히 저조하다. 생성형 AI는 누구나 손쉽게 접근할 수 있지만 이용에 대한 교육과 책임 의식은 부재하기 때문이다. 인공지능 기술 정보 전달 채널 <마스터 봇>을 운영하는 유튜버 E 씨는 “AI와 관련된 법규가 제대로 마련되지 않은 상황에서 제작자와 사용자 같은 개인이 도덕적 윤리의식을 가지고 절제해 가며 사용해야 하는 상황”이라고 전했다.

이러한 상황에서 기술에 대한 전반적인 이해뿐만 아니라 윤리적 사용 측면을 함께 고려해야 한다는 ‘AI 리터러시’ 능력이 강조되고 있지만 여전히 교육은 부재하다. 카이스트에 재학 중인 신윤섭씨는 “AI 리터러시에 대해 들어본 적이 없다”며 “제대로 된 도덕관념이 형성되지 않은 학생들 사이에서 생성형 인공지능이 사용되며 이는 악용으로 이어지기 쉽다”고 말했다.

한양대학교 인공지능학과 교수이자 유네스코 세계과학기술윤리위원회 부위원장 이상욱 교수는 <AI 윤리, 사람 중심 가치 실현> 강연에서 “체계적인 교육을 통해 생성형 AI 활용 시에 어떤 위험성을 가졌는지 인지하고 사용해야 한다”며 AI 교육과 개인의 윤리의식을 강조했다.

AI 정책 방향도 못 정한 한국과 규제에 앞서나가는 유럽·미국

한국은 아직 AI기본법조차 통과시키고 있지 못한 상태이다. 생성형 AI의 발전으로 기존과 다른 새로운 형태의 문제가 발생함에도, AI기본법조차 없는 상황은 AI에 대한 한국의 법적 공백을 여실히 드러낸다. 현재 국회 문턱을 넘지 못한 채 논의를 이어가고 있으나, AI 규제를 택한 유럽연합(이하 EU)과 달리 현행 의안은 산업 육성에 방점을 둔 것으로 알려졌다. 현재까지 제22대 국회에서 발의된 인공지능 관련 의안은 11건에 이르는데, 그 명칭 또한 ‘산업 육성 및 신뢰 확보’, ‘발전과 신뢰 기반 조성’, ‘개발 및 이용’ 등 제각기 다르다.

이와 달리, 유럽과 미국 등지에서는 이미 세부적인 법적 공백 메우기에 나섰다. EU에서는 전범위적으로 AI를 규제하는 인공지능법(이하 AI법)이 세계 최초 입법됐고, 미국에서는 지난해 ‘안전하고 보안이 보장되며 신뢰할 수 있는 AI 개발과 사용에 관한 행정명령’이 발표되기도 했다. 미 캘리포니아주에서는 ‘악용될 AI 모델을 개발한 자’를 제재하는 법안도 논의됐다.

최경진 가천대학교 교수(한국인공지능법학회장)는 지난달 24일 국회 과학기술정보방송통신위원회가 개최한 인공지능 법률안에 대한 공청회에서 한국의 AI 입법 방향에 대해 “신뢰 프레임을 만드는 정도의 기본법 입법을 먼저 하고, 나머지는 각 영역의 특수성을 고려해 법을 만들어 나가는 것이 필요하다”면서 “빠른 속도의 AI 기술 발전과 실제 폐해에 대응하는 규제 체계여야 하고, 글로벌 컨센서스와 보조를 맞추면서도 AI 혁신을 촉진하는 법 제도가 필요하다”고 밝혔다.