음란물은 딥페이크의 부작용이 아니라 순기능

by 🤖아침

KrIGF에서 “생성형 인공지능과 딥페이크 기술” 세션을 참관하고 왔습니다. 이미지나 음성 등을 조작해 디지털 매체 속 인물을 다른 사람의 모습으로 바꾸는 일련의 기술을 통칭하는 딥페이크에 관한 패널 토론이었어요. 산업적 효과에 대한 기대감, 악용에 대처하기 위한 제도적/정책적 제안 같은 이야기가 오갔는데요. 세부적인 내용을 다루기보단, 이날 논의가 깔고 있던 기본 전제에 관한 제 의문을 얘기해 보려 합니다.

KrIGF 웹사이트에 등재된 세션 소개글을 인용합니다.

딥페이크 기술은 보다 쉽고 간편하게 특수효과를 만들어 내거나 AR 영상을 제작하는 등 산업 전반의 성장 가능성을 키우는 등 긍정적으로 작용하고 있는 부분이 분명히 있다. 그러나, 인공지능기술이 빠르게 발전하면서, 인공지능을 활용한 비윤리적 이용 등 부정적 측면에 대한 우려의 목소리가 커지고 있다.

딥페이크(를 만드는 데 사용되는) 기술은 긍정적 작용을 하지만, (음란물 제작, 인격 사칭 등) 부작용 또한 생기고 있다는 것입니다. 따라서 기술적/산업적 발전을 저해하지 않도록 기술 규제는 최소화하되, 딥페이크를 활용한 범죄를 억제하기 위한 사법적, 문화적 노력이 필요하다는 것이 이날 패널 토론의 전반적인 내용이었고요. 얼핏 보면 맞는 말 같습니다. 기술은 잘못이 없다, 사람이 잘 사용하는 것이 중요하다… 흔히 들을 수 있는 말이죠. 하지만 기술은 생각만큼 ‘중립적’이지 않습니다.

딥페이크의 출발점은 성착취물

‘딥페이크’라는 말은 어디서 왔을까요? 이 용어가 등장한 것은 2017년경. deepfakes라는 닉네임을 사용하는 레딧 이용자가 동명의 게시판에 꾸준히 올린 영상이 화제가 되었습니다. 주로 여성 연예인의 얼굴을, 성적 촬영물에 등장하는 여성 신체에 합성한 것이었습니다. 가정용 컴퓨터와 인터넷에서 쉽게 구할 수 있는 영상으로 만들어낸 결과물이었죠.

딥페이크의 어원이 여성 이미지를 동의 없이 조작한 음란물 제작자라는 점, 그리고 그가 대단한 전문 연구기관이나 기업 조직이 아니라 개인이라는 점 모두 중요합니다.

딥페이크의 대중화는 성착취물로 시작했고, 이러한 기술적 성착취는 지나가는 해프닝으로 끝나지 않았습니다. 일례로 생성형 이미지 시장이 등장하며 AI로 만든 이미지뿐만 아니라 특정 그림체에 특화된 AI 모델을 제작하는 일을 금전적으로 보상하는 구조를 형성하고 있는데요. 이는 성착취물도 예외가 아닙니다. 즉 특정 인물의 딥페이크 성착취물 이미지 및 그것을 만들 수 있는 AI 모델이, 생성형 이미지 산업의 구성 요소로 자리 잡고 있는 것입니다.

또한 딥페이크 제작의 기술적 장벽은 갈수록 낮아집니다. 2017년의 deepfakes는 아마 고급 그래픽카드를 설치한 컴퓨터에서 직접 작성한 코드를 실행해 가며 연예인 딥페이크를 만들었을 겁니다. 그것만으로도 문턱이 굉장히 낮아진 것이었지만, 지금은 그럴 필요도 없습니다. 이미지 생성 서비스도 우후죽순 생겨나고, 손쉽게 다운받을 수 있는 맞춤형 AI 모델, 그것을 몇 번의 클릭으로 실행할 수 있는 설치형 응용 프로그램이 얼마든지 있습니다. 더욱 가볍고 빠른 AI를 향한 경쟁 가운데 일반 가정용 컴퓨터에서 돌아가는 AI 성능은 계속 향상되는 추세입니다. 누구나 딥페이크를 제작할 수 있는 조건 속 개인의 손에는 굉장한 힘이 주어졌고, 이 힘은 음란물 제작에 적극적으로 활용되고 있습니다.

‘AI 산업 vs 음란물’은 잘못된 구도

이렇게 되기까지 업계의 자정 노력이 없지 않았습니다. AI 모델 접근 권한을 통제하거나, 음란물 필터를 통해 부적절한 결과물을 걸러내거나, 서비스 정책을 통해 일부 행위를 금지하는 등 다각도의 접근이 있었지요. 지금도 관련 연구가 많이 진행되고 있습니다. 하지만 그 노력에 아무리 박수를 보낸들 피해는 계속 발생해 왔다는 점을, 냉정하게 바라볼 필요가 있습니다. AI 산업은 음란물과의 싸움에서 지고 있습니다.

아니, 어쩌면 AI 산업과 음란물이 싸우고 있다는 관점 자체에 오류가 있는지도 모릅니다.

“시스템의 용도는 그것이 실제로 하는 일이다 (The purpose of a system is what it does, POSIWID)”라는 격언이 있습니다. 시스템이 실제로 하지 못하는 것을, 그 시스템의 의도된 작용이라고 주장하는 것은 무의미하다는 말입니다. 시스템의 작용을 이해하는 일은 그에 대한 기대나 가치적 판단보다, 실제 벌어지고 있는 현상에 대한 관찰에 따라야 한다는 교훈을 담고 있습니다.

이 격언을 염두에 두고 현 상황을 검토해 봅시다. AI 산업의 성장과 함께 딥페이크 성착취물 또한 일부 개인의 일탈을 넘어 산업화하고 있고, AI 기술 발전 방향은 개인의 딥페이크 제작 능력 향상과 맞닿아 있습니다. 그렇다면 음란물 제작은 딥페이크 기술의 발전 과정에서 의도치 않게 생겨난 불행하고 부수적인 역효과 같은 것이 아니라, 그 기술이 그렇게 작용하도록 설계된 결과라고 할 수 있지 않을까요? 딥페이크 기술의, 나아가 AI 산업의 용도(중 하나)는 성착취물 제작을 손쉽게 만드는 것이라고요.

KrIGF 패널은 합성 성착취물 등 일련의 사건으로 딥페이크 관련 기술의 폐해에 관한 우려가 고조되어, 이 기술의 긍정적 가능성을 차단할 것을 우려했습니다. 하지만 저는 해당 피해가 마치 예외적 상황인 것처럼 인식해서는, 부정적 효과를 차단하기도 긍정적 효과를 끌어내기도 어렵다고 봅니다. AI 산업의 작동 방식 자체가 음란물 관련 피해를 키우는 방향으로 작용한다는 점에 눈감은 채 문제를 해결할 수 없습니다.

🦜더 읽어보기

• 생성 AI 성착취물 시장의 구조 (AI 윤리 레터, 2023-09-04)
• 인공지능이 만드는 모두의 딥페이크 (고아침, 2023-01-31)
• Inside the AI Porn Marketplace Where Everything and Everyone Is for Sale (404 Media, 2023-08-22)
• OpenAI Is ‘Exploring’ How to Responsibly Generate AI Porn (Wired, 2024-05-08)
• We Are Truly Fucked: Everyone Is Making AI-Generated Fake Porn Now (Vice, 2018-01-25)