[후기] The Dark Shadow of AI: 딥페이크 성착취물과 젠더편향

딥페이크 문제로 한국사회가 들썩였습니다. 딥페이크 성범죄 피해자 중 한국인 연예인이 많다는 사실이 알려지는 게 시작인가 싶더니, 어느 순간부터 초등학교부터 대학교까지의 피해 사례가 매일같이 뉴스에 보도되었습니다. 이제는 딥페이크 성범죄가 내 주변의 일이 되어버렸습니다. 딥페이크 기술이 문제인 건지, 왜 한국에서 유독 더 문제가 심각한 것 같은지, 이걸 우리는 어떻게 해결할 수 있을지 질문하고 답을 찾아야 합니다. 

2024년 10월 21일 월요일 저녁, <The Dark Shadow of AI: 딥페이크 성착취물과 젠더편향>이라는 이름의 토론회가 남산자락의 독일문화원에서 열렸습니다. 다양한 출신지와 언어, 문화적 배경을 가진 듯한 수많은 사람들이 토론회장을 가득 채웠습니다. 이 문제에 많은 다양한 사람들이 관심 가지고 함께 이야기 하러 모였다는 점, 국제적 연대가 시작되고 있다는 점을 생각하며 토론회를 시작할 수 있었습니다.

토론회는 사회적협동조합 빠띠 권오현 이사장의 사회와 함께 클레멘스 트레터(Clemens Treter) 주한독일문화원 원장/괴테 인스티투트 동아시아지역 대표, 다비드 비거(David Bieger) 주한독일대사관 일등서기관, 프레데릭 스포어(Frederic Spohr) 프리드리히나우만재단 한국사무소 대표의 개회사와 환영사로 시작했습니다.

이어서, 빠띠 타운홀을 통해 참가자들에게 미리 받은 사전설문 결과를 공개했습니다. 토론회 전에 사전 설문에 참여하니 미리 주제에 대해 생각해 보고 현장에 올 수 있었고, 다른 참가자들의 답변을 볼 수 있어서 토론회에 더 풍성하게 참여할 수 있었습니다. 인공지능이 인류의 미래에 위협이 될지 묻는 질문에 ‘위협이 된다’라고 대답한 사람이 더 많았습니다. ‘딥페이크’ 하면 떠오르는 키워드로는 ‘성범죄’, ‘가짜뉴스’ 등 부정적인 키워드를 많이 선택한 것을 알 수 있었습니다. 딥페이크에 대해 우리가 모여서 이야기 해야 할 필요가 있다는 걸 사전 설문 결과가 보여주는 듯했습니다.

이야기 열기 

N번방 사건을 최초로 알린 추적단불꽃의 원은지 대표와, AI 윤리에 대한 소식과 의견을 내보내는 뉴스레터 ‘AI 윤리 레터’의 필진 산디가 짧게 발표를 했습니다.

추적단불꽃 원은지 대표는 N번방 최초로 알린 인물입니다. 이후로도 계속해서 디지털성범죄 피해자들의 제보를 받아 취재하고 보도 하며, 피해자를 지원하기도 합니다. 일상을 살아갈 수 있도록 디지털 성범죄 피해자를 지원하는 센터에 연결해주거나, 수사기관에 동행하거나 직접 텔레그램에 잠복해 검거에 도움을 주기도 합니다. 원은지 대표는 K-디지털 성폭력의 특수성을 이야기 했습니다. 온라인에서 심하게 표출되는 여성혐오, 디지털 성범죄 가해자 계보와 연대, 디지털 성범죄 플랫폼으로 전락한 텔레그램. 세 가지가 한국 디지털 성폭력의 특수성을 만들어 낸다고 말했습니다. 그리고 그동안 딥페이크 성범죄가 계속 드러났음에도 적극적으로 해결책이 도모되지 않고 경시되어온 결과 딥페이크 성범죄 문제가 지속되고 커진 것이라고 지적했습니다.

이어서 AI 윤리 레터 필진인 산디가 딥페이크 기술과 인공지능 개발사와 플랫폼의 책임에 대해 발표했습니다. 딥페이크 문제가 터졌을 때 진작에 예견된 일이라고 생각했고, 무기력함과 분노를 느꼈다고 합니다. 딥페이크라는 말은 한 유저의 닉네임에서 따 온 말인데, 이 유저는 처음부터 성착취물을 만드는 것으로 딥페이크 기술을 사용했다고 합니다. 이후 AI 기술이 점점 더 빠른 속도로 발전했지만, 그 발전된 기술이 그려내는 여성의 모습은 옷을 풀어헤친 모습이나 나체로 그려지곤 하는 실정입니다. 또, 텔레그램은 특히 한국에서 많은 사람들이 ‘망명'을 갔던 플랫폼인데 그런 곳에서 익명성에 기대어 성착취가 일어났다는 점도 문제로 짚었습니다. 산디는 기술은 중립적이지 않고 누군가의 의도에 따라 작동한다고 말했습니다. 공동체 구성원을 배제하는 방식, 인격을 짓밟는 방식으로 기술이 작동해서는 안된다고 말하며 딥페이크 기술은 결코 국가 성장 동력이 아닌 성착취라고 강조했습니다.

두 사람의 발표가 끝나고 사회자 권오현 빠띠 이사장이 기자 라파엘 라시드를 소개하며 앞선 발제와 오늘 주제에 대해 어떻게 생각하는지 질문했습니다.

라파엘 라시드는 서울에 살고 있는 기자이며, 가디언지에서 딥페이크 내용 다룬 바 있습니다. 사회적 이슈, 인권, 젠더이슈를 주로 다루고 있다고 스스로를 소개하며, 미디어와 저널리스트가 한국에서 여성에게 일어나는 일에 초점 맞춰 움직여야 한다는 생각을 밝혔습니다. 한국은 최근 5-10년 간, 좋은 이슈와 나쁜 이슈를 포함해 수많은 이슈에서 세계적인 선두주자였고, 국외에서는 그런 한국이 그 중 특히 디지털 성범죄 이슈에서 솔루션을 제시하기를 기대하고 있다고 전했습니다. 그는 한국의 디지털 성범죄 문제를 다루기 위해서는 한국의 기술적 맥락과 최근의 역사를 봐야 한다고 말했습니다. 그리고 멈추지 않고 바깥으로 메시지를 내보내야 한다고 강조했습니다.

4인 토크

사회자인 사회적협동조합 빠띠 권오현 이사장, 패널인 추적단불꽃 원은지 대표, AI 윤리 레터 산디, 라파엘 라시드 네 명이 토크를 시작했습니다. 한국 사회에서의 딥페이크 성착취, 디지털 성범죄의 특수성과 배경, 정치적 상황에 대해 이야기하고, 인공지능 개발 기업과 플랫폼, 언론의 책임에 대해 이야기 나눴습니다. 토크 진행 중에도 빠띠 타운홀을 통해 실시간으로 참여자들의 질문이나 의견을 받아 대화에 반영하며 토크를 진행했습니다. 현장에서 나온 이야기를 간략히 전해 봅니다.

권오현 추적단불꽃이 활동하며 본 최근 5년간의 이야기를 해주시기 바란다. 수사기관들은 그동안 어떤 변화가 있었는지도 궁금하다.

원은지 한국에서는 디지털 성범죄 2년 주기 설이 있다. 2018년도에 불법촬영 대대적 보도, 2020년도에는 세계 최대 규모 아동 청소년 성착취 사건인 N번방 사건, 2022년도에는 ‘엘' 사건, 2024년도에는 서울대와 전국 초중고의 딥페이크 성폭력 사건. 온라인 상에서 소셜미디어를 하는 사람이라면 누구나 피해자가 될 수 있다는 인식이 이전에는 없었으나 점점 누구나 피해자가 될 수 있다는 인식이 더 확산되고, 더욱 중대한 성범죄로 보는 쪽으로 변화했다. N번방 이후로 텔레그램 안에서 성착취 생태계가 만들어지기도 했다. 그동안 의심하고 증거를 찾는 하는 부담을 피해자가 짊어져야 했다. ‘텔레그램이어서 수사하기 어렵다’라거나, ‘피해자가 아동이 아니라 성인이어서 수사 협조가 어렵다’는 이야기를 경찰에게 듣기도 했다. 

권오현 라파엘은 딥페이크 이슈에 국한되지 않고도 다양한 한국 여성 관련 이슈를 취재하고 있다. 어떤 인상을 받으셨는지, 이 이슈에 관해 한국 언론은 어떠한지 말씀해주시기 바란다. 

라파엘 디지털 성범죄 이슈는 젠더 이슈, 젠더 폭력이다. 한국 미디어가 계속해서 미디어에서 여성을 그려 온 방식이 이런 젠더 갈등을 만들어냈다고 생각한다. 또, 팩트체크를 신중히 하지 않는 문제가 드러나기도 했다. 딥페이크 성범죄물 피해 학교 지도 사례를 예로 들 수 있다. 이슈를 다루고, 팩트체크 하는 데에 신중해야 한다고 생각한다.

권오현 나무위키와 텔레그램에 대해 이야기 해보자. 허위정보를 스크리닝 없이 누구나 올릴 수 있는 위키가 나무위키이고 한국에서는 널리 쓰이고 있다. 그런데 누구가 운영하는지 알 수 없다. 텔레그램도 범죄의 온상처럼 되어있다. 나무위키와 텔레그램과 같은 플랫폼의 책임에 대해 어떻게 생각하는지. 또 한국 정부의 대응은 어떻게 생각하며 어떻게 처벌 등 법률적 기반을 마련해야 할지 이야기 들려주시길 바란다.

산디 아카라이브라고 하는 나무위키 산하 별도의 커뮤니티와, 텔레그램에서 성착취가 이뤄지고 유통되고 있다. 텔레그램은 자사 정책상 성인의 누드를 공유하는 것이 가능하며, 소아 성착취물을 유통하지 말라는 규정도 없다. 내부 콘텐츠에 대해 어떠한 규제도 하지 않겠다고 밝혔다. 

원은지 텔레그램이라는 메신저 내에서 성폭력이 이뤄지고 있는 게 보도된 이후 5년 동안 지속되고 심각해지고 있는데 정부는 한 게 없어보인다. 특히 이번 정부는 ‘구조적인 성차별은 없다'라며 여성가족부 폐지를 말하며 당선된 대통령의 정부다. 텔레그램과 소통하면서 문제해결하려는 의지가 없어 보인다. 방송통신심의위원회라는, 정부에서 독립된 기구에서 문제해결 의지를 밝혔지만 관련 법이 제정되어있지는 않았다. 최근 딥페이크 성범죄 방지법이 국회 본회의를 통과했다. 이에 따라 단순히 시청하거나 소지하기만 한 사람도 처벌할 수 있도록 처벌 규정이 강화되었다. 공동정범에 대한 적극적인 수사를 이행하고, 수사의지를 밝히는 게 필요하다고 생각한다. 

권오현 플랫폼과 트래픽을 원천적으로 모니터링을 해야하는 게 아닌가 하는 질문이 있다. 어떻게 생각하시는가? 

원은지 텔레그램이 자신들은 ‘초대형 플랫폼이 아니라 메신저다’ 라고 주장했으나 허무맹랑하다고 생각한다. 우리나라에서부터, 텔레그램 안에 성착취 시장과 생태계가 있다는 것을 알려야 한다. 

권오현 플랫폼, 그리고 인공지능을 만들고 있는 사람들이 책임감을 잘 못 느끼고 있는 것 같기도 하다.

산디 한국의 소버린 AI 는 한국의 문화 위에서 만들어진 것이다. 한국 문화에 성착취가 만연해 있으니 그 위에서 만들어진 인공지능은 그 성착취가 담긴 구조의 결과일 수밖에 없다. 

권오현 네이버와 한국 정부가 인공지능 상위 국가를 꿈꾸고 있는 와중, 정치인들의 반응과 대응에 대해 어떻게 생각하는지. 또, 왜 한국에서 유독 가까운 사람들을 능욕하려는 문화가 있다고 생각하는지 궁금하다. 

원은지 정치인들에게는 ‘표’가 중요하다. 여성혐오보다 남성에 대한 역차별을 얘기했을 때 표를 던지는  사람들이 있다고 판단한 듯하다. 정치인이 나서서 ‘여성의 공포는 망상이다’ 라는 메시지를 내고 있는데, 이런 발언이 바로 디지털 성범죄를 경시하는 사회적 분위기의 배경이 된다고 생각한다.

산디 딥페이크 기술 자체와 확산의 매커니즘에 성착취가 작동하고 있으며 이는 딥페이크가 가지는 전세계적인 현상이다. 딥페이크가 처음 등장했을 때는 정치인에 관한 허위조작정보의 제작과 확산을 먼저 우려했고, 정부도 허위정보 오정보를 가려내는 기술에 투자했다. 딥페이크 성착취물의 경우, 여성의 인권을 유린하는 데에 문제가 있는데 이 부분에 대해 제대로 대응하지 않았다. 이 이슈에서 여성은 철저하게 정치적으로 소외되어 있었다. 정치인들의 표싸움과, 자신이 타겟이 되지 않을까 하는 정치인들의 우려와 대처 속에서 여성들은 소외되고 피해자가 되었다. 

라파엘 디지털 성범죄는 여성혐오 문제다. 한국 사회는 행복하지 않은 사회라고 생각한다. 좋은 대학, 좋은 직장과 같이, 사회적 기준에 맞추어 살아가며 개인의 개성은 내보일 수 없는 숨막히는 사회 속에서, 온라인이 탈출구가 되었다. 한국은 모든 것을 온라인에서 익명으로 하는 데에 익숙해져 있다. 인터넷, 스마트폰 보급률 세계에서 거의 가장 높고 온라인 상에서 자아를 만들고 활동하는 데 익숙하다. 서로 마주본 적 없는 사람을 대상으로 혐오를 표출한다.

권오현 앞으로 우리가 어떻게 해야 할지, 제언을 부탁한다. 

원은지 아무리 정부, 방심위, 경찰청, 여가부에서 조직을 만들어 피해자들을 도와준다고 해도 결국에는 삭제 권한이나 기술을 가진 것은 플랫폼이다. 모든 게 플랫폼으로 귀결되고 있다. 디지털 성폭력에 취약한 여성과 아동을 위해 플랫폼에서는 폭력의 실태를 조사하고 각 국가 기관과 협력 협조해서 피해자들의 고통을 덜어줄 수 있도록 자발적인 노력을 해야 한다. 

산디 범죄 이론에서는 ‘확실성', 즉 ‘나쁜 짓을 하면 잡힌다’라는 개념이 중요하다고 한다. 불꽃의 활동이 주는 메시지인 ‘꼭 잡는다'가 아주 의미있다는 것이다. 정부나 경찰도 이런 메시지를 많이 내 주어야 한다. 한편, 정부나 경찰이 모든 것을 감시하고 감독하자고 주장하기는 조심스럽다. 정부가 큰 권한을 가질 때 그 힘이 우리를 역으로 누를 수 있기 때문이다. 올바른 균형을 잡을 수 있도록 우리 시민이 잘 감시해야 한다. 정부와 경찰이 가해자를 잘 잡아야하고, 우리 시민사회가 정부와 경찰을 잘 감시할 수 있는 힘이 필요하다. 인공지능 기술, 플랫폼 기술, 정부에게까지 시민의 감시가 도달해야 한다. 

라파엘 모든 게 교육에서 시작한다고 생각한다. 젠더 이슈에 있어서 남성, 소년들의 이해가 증진돼야 한다. 이 문제가 무엇인지, 사람들이 어떻게 느끼는지, 어떤 게 잘못이며 어떻게 영향을 미치는지에 대해서. 한국의 맥락에서도 생각해야 하는 동시에 이것은 국제적인 이슈로도 다뤄져야 한다. 한순간에 사라질 문제가 아니기에 치열하게 토론해야 한다. 최근 몇 달 사이 한국에서 딥페이크 성범죄 문제가 극적으로 터져나온 상황을 들여다봐야 하고, 정부의 권한에 대해서도 감시해야 한다. 

마치며

딥페이크 기술의 젠더 편향과 성착취, 그리고 한국 사회의 특성. AI 기술을 개발하는 기업의 책임과, 사용하는 이용자들의 책임. 그리고 이걸 다루는 언론의 역할에 대해 생각해 볼 수 있는 시간이었습니다. 

토론회를 마치고 패널들의 제언들을 곱씹고 새겨 보게 되었습니다. 또, 현장에 함께한 많은 사람들을 떠올리며 앞으로 이 주제를 용감하게 대면하고 함께 토론하며 헤쳐 나갈 수 있겠다는 기대가 생기기도 했습니다.  

토론회가 끝나고 참여자들은 빠띠 타운홀에 소감을 남겼습니다. 딥페이크 성착취라는 이슈에 대해 진심과 전문성을 가진 패널들과 사회자의 대담이 의미 깊었다는 소감, 빠띠의 노하우와 기술을 통해 행사 전과 행사 중에 참가자들의 의견을 받아 반영할 수 있었던 점이 좋았다는 소감들이 있었습니다. 

패널 산디의 말, “경찰과 활동가들이 계속 활동하고 있는데도, 가해자들의 연대는 왜 끊어지지 않는가? 내가 어떤 연대를 어떻게 만들면 그들의 그 연대를 끊어낼 수 있을가를 고민하게 된다.”를 인용하며 후기를 마치고자 합니다. 딥페이크 성착취 문제를 끊어내는 우리의 ‘연대’를 만드는 또 하나의 장면에 우리가 함께 했다는 것을 기록합니다.

토론회는 끝났지만 이 이슈에 대한 우리의 참여는 끝나지 않습니다. 딥페이크 기술의 젠더 편항과 성착취 이슈는 우리가 계속 논의해야 하는 주제입니다. 더 많은 사람이 관심 갖고 함께 해야 해결할 수 있습니다. ‘딥페이크 성착취, 어떻게 해결할까요?’ 투표에서 이 문제를 해결하기 위해 우리가 던져야 하는 질문을 볼 수 있습니다. 투표에 참여하고 의견도 남겨 주세요. 우리가 질문을 나누고 의견을 모으는 것이 변화를 만드는 데 힘이 되리라 믿습니다. 

딥페이크 성착취, 어떻게 해결할까요? 

🗳투표하고 의견 남기기👉 https://demosx.org/posts/6MtbGL 

---

📝 글ㅣ사회적협동조합 빠띠 활동가 도란 

살고 싶은 세상을 만들고 싶어요.