사진 내리기 말고 할 수 있는 일: AI 기업에 요구하기

by 🎶소소

딥페이크 성범죄 영상물을 제작, 소지, 배포하는 행위는 개인의 존엄성과 인격권을 파괴하는 중대한 범죄입니다. 딥페이크가 아니라 불법 합성물이라고 부르겠습니다. 일부 대학에서 드러났던 불법 합성물 성범죄 사건이 사실상 사회 곳곳에서 일어나고 있으며, 내가 사는 지역과 다니는 학교의 지인들이 중심이 되었다는 충격적인 보도 이후 논의가 계속되고 있습니다. 현재까지 경찰에 신고된 피해자 대부분은 10대 20대로, 피의자 중 다수는 피해자와 같은 학교 학생이라는 점은 많은 이들을 경악하게 합니다.

경찰과 검찰은 불법 합성물 성범죄 관련 행위를 신종 학교 폭력으로 규정하고 엄정 대응 방침을 발표했습니다. 방송통신심의회도 불법 합성 성착취물에 강력 대응하겠다고 밝혔습니다. 여성가족부 또한 경찰과 연계해 피해자 영상물 삭제를 지원하겠다고 했고요. 윤석열 대통령은 딥페이크 없는 건강한 온라인 환경을 만들 것을 촉구했습니다. 언론중재위원회는 성적 딥페이크 콘텐츠를 삭제하고 차단하기 위해 소셜미디어 기업과의 소통을 강화하는 협의체를 구성할 계획이라고 밝혔습니다. 네, 다 좋습니다. 정부 기관에서 약속한 대로 빠르게 엄정하게 대응해주셨으면 합니다.

그동안 우리는 뭘 할 수 있을까요? 학교에서는 딥페이크 예방을 위해 가정통신문을 보냈습니다. 유의사항에는 “SNS 계정에 연락처, 사진 등 개인정보를 공개하는 것을 주의”하라고 적혀있습니다. 많은 아이들이 혹시나 하는 마음에 모든 SNS에서 사진을 삭제하고도 밤새 스마트폰을 붙잡고 불안해한다고 합니다. 가정통신문에는 우리가 당장 할 수 있는, 뭐라도 해야 하는 마음이 담겼겠지요. 그런데 도대체 피해자들이 얼마나 더 주의를 해야 할까요? 미니스커트를 입으면 성적 호기심을 유발할 수 있으니 입지 말라는 역사가 반복되는 느낌입니다. 이러다가 모두가 히잡을 두르다 못해 눈코입까지 가려야 할 판입니다.

SNS에서 사진 내리기 말고 우리가 더 할 수 있는 일은 없을까요? 불법 합성물이 제작되고 유포되는 과정을 그려보았습니다. 전체 과정에서 피해자가 한 일은 개인 SNS에 사진을 올린 것 뿐입니다. 그 이후로는 여러 이해관계자가 따로 또 같이 범죄를 위해 움직입니다. 피해자의 사진을 도용해서 불법 합성물 제작을 시도한 사람이 시작점입니다. 불법 합성물을 제작해주는 익명 채널에 참여한 22만명은 모두 잠재적 범죄자입니다. 의뢰자 스스로가 딥페이크 제작자이거나, 제작자가 SNS 범죄방 운영자이자 유포자일 때도 있습니다. 모두 범죄에 가담한 가해자입니다. 이 과정에는 개인이 아닌 “기업”의 역할도 있습니다. SNS 플랫폼 기업은 범죄의 유통책이 되고, 딥페이크 서비스 기업은 불법 합성물 제작에 활용됩니다.

불법 합성 성착취물의 유통 채널인 SNS를 통제할 수 있을까요? 국내에서는 많은 불법 합성물들이 텔레그램을 통해 유포됩니다. 표현의 자유를 보호하기 위한 텔레그램의 강력한 운영 방침이 역설적으로 범죄 집단들이 범행을 모의하는 공간을 만들어주고 있습니다. 딥페이크 뿐만 아니라 사기, 마약, 밀매, 테러 조장 등 범죄 온상이 되고 있습니다. 텔레그램이 수사에 협조하지 않아 수사가 어렵다는 이야기를 한 번쯤 들어보셨을 텐데요. 최근 프랑스에서 텔레그램 CEO이 체포되며 대한 아동 성착취물(Child Sexual abuse material, CSAM) 및 기타 범죄와 관련된 조사가 시작되었습니다. 이 때문인지 텔레그램이 방송통신심의위원회가 긴급 삭제 요청한 디지털 성범죄 영상물 25건을 삭제하고 사과했습니다. 앞으로 딥페이크 성착취물 문제를 위해 노력하겠다고 밝혔습니다.

유통 채널만의 문제는 아닙니다. AI가 불법 합성물을 더욱 쉽고 빠르게 만들어주는 덕분에 피해 범위는 더욱 커지고 있습니다. AI 기술에 익숙한 사람이라면 오픈 소스로 공개된 AI 모델을 직접 내려받아 사용할 수 있습니다. 기술은 전혀 모르더라도 조금만 검색해보면 딥페이크 서비스로 쉽게 얼굴을 합성할 수 있습니다. 얼굴 합성에 쓰이는 AI는 오래된 기술입니다. 기술이 발달한 환경에서 10대 청소년에게 딥페이크는 아주 오래된 보통의 장난이 되었습니다. 여기에 생성AI가 더해지며 더 빠르고 좋은 품질의 이미지가 쉽게 만들어지고 있습니다. 최고의 성능을 경쟁하는 AI 얼굴 합성 프로그램도 검색만 하면 수십 개가 쏟아집니다. 사진 한 장만 있으면 사진뿐만 아니라 영상까지도 수십 초 내로 합성할 수 있습니다. 일부 서비스는 무료이고, 대부분이 월 4.99$(약 7000원) 정도면 제한 없이 서비스를 이용할 수 있습니다.

창작을 민주화한다는 아름다운 구호 아래 AI는 범죄를 돕는 쉽고 빠르고 성능 좋은 도구가 되고 있습니다. 영국 비영리 단체 IWF(Internet Watch Foundation) 은 한 달 간 온라인에 게시 된 11,000개 이상의 AI 생성 이미지를 분석한 결과 3,000개 이상의 이미지가 범죄로 분류될 만큼 심각하다고 판단했습니다. 그러나 대부분의 생성AI 이미지 서비스에서 윤리 정책이나 안전 장치는 전혀 찾아볼 수 없었습니다. 일부 빅테크를 제외한 딥페이크 서비스들은 스타트업 규모로 경쟁에서 살아남기 위해 고군분투하고 있기 때문입니다. 그동안 범죄자는 쉽고 빠르게 범죄를 저지르는데 AI를 이용하고 있습니다.

우리는 딥페이크 관련 기업에도 이러한 피해를 예방하기 위한 조치를 취하도록 요구해야합니다. AI 학습 데이터셋 구축 기업이나 모델 개발사도 마찬가지입니다. 수십억 개의 이미지 공개 데이터셋인 LAION-5B에는 유명 포르노 사이트를 포함한 다양한 소스에서 스크랩 된 아동 성착취물이 포함되어있습니다. 이 때문에 미국과 캐나다에서는 이 공개 데이터셋의 삭제를 요청해왔고요. 이러한 요청에 며칠 전 LAION 팀에서는 아동 성착취물 데이터를 제거한(2천여 건 삭제) 버전을 발표했습니다.

최근 허깅페이스에서는 이미지 생성 AI 모델인 Stable Diffusion ver 1.5 모델이 삭제되었습니다. 이 모델은 아동 성착취물 생성에 뛰어나다고 알려졌습니다. 아동 성착취물이 포함된 데이터셋(LAION-5B)를 학습했기 때문인데요. 그 덕분인지 이 모델은 600만 회 이상 다운로드 된 인기 모델 중 하나였습니다. 그런데 이 모델은 부적절한 이미지 생성의 온상이라는 여러 지적에 따라 최근 모델 호스팅 사이트인 허깅페이스에서 제거된 것입니다.

AI 기업은 AI 모델과 서비스를 안전하게 개발, 배포 및 유지 관리할 책임이 있습니다. 그리고 사용자는 계속해서 이를 요구해야 합니다. 아래 우리가 AI 기업에 요구할 수 있는 안전 장치로 아동 안전을 위한 비영리 단체 Thorn이 제안하는 몇 가지를 덧붙입니다.

• 생성 AI 모델 학습 전 데이터셋 내 아동 성착취물을 탐지, 제거 후 보고
• 생성된 이미지의 워터마크 및 콘텐츠 출처 표기
• 아동 성착취물을 데이터로 학습했거나, 재생성할 수 있는 모든 생성 AI 모델을 플랫폼에서 제거
• 아동 성착취물을 데이터셋에서 제거하지 않는 모델의 재호스팅을 거부
• 아동 성착취물 생성을 의도적으로 미세 조정된 모델을 식별하여 해당 플랫폼에서 영구히 제거
• 앱 스토어에서 관련 도구 승인을 거부하고, 검색 결과 및 결제 차단

딥페이크 탐지, AI 생성 콘텐츠 내 워터마크 삽입 등의 기술적 조치 역시 관심을 받고 있습니다. 물론 이러한 기술적인 조치가 문제의 완전한 해결책이 될 수는 없다는 것을 우리는 압니다. 성적 콘텐츠를 소비하고 공유하는 과정의 범죄는 한국 사회의 젠더 갈등과 성차별 문화와 관련이 있습니다. 대통령을 포함한 정부 기관이 범죄에 엄정 대응을 외치지만, 이 사회에 존재하는 여성에 대한 구조적 차별 문제는 언급하지 않습니다. 당사자들은 불법 합성물 성범죄를 방치하는 이 사회의 구조적 문제를 이야기하려면 밤을 새울 지경인데도요. 네, 그래도 좋으니 더는 범죄를 장난이나 실수나 호기심이라며 봐주거나 용인해서는 안 됩니다. 엄중한 처벌이 차별적인 사회 구조에 균열을 낼 수 있기를 바랍니다.

🦜더 읽어보기
- 음란물은 딥페이크의 부작용이 아니라 순기능(2024-07-03)
- 텔레그램 성착취방의 톱니바퀴, AI(2024-08-26)
- 생성 AI 성착취물 시장의 구조(2023-09-04)

#feedback

오늘 이야기 어떠셨나요?
여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.
남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.