AI 윤리 뉴스 브리프 2024년 9월 둘째 주by 🎶소소 1. 2024년 AI 분야의 가장 영향력 있는 인물 100인 타임지가 AI 분야의 영향력 있는 100인을 발표했습니다. 구글, 마이크로소프트, 허깅페이스, 오픈AI 등 다양한 AI 관련 기업의 경영진이 다수 포함되었습니다. 올해 선정된 100인 중 91명은 작년 목록에 포함되지 않았던 인물이라고 하는데요. 정말 빠르게 변화하는 분야라는 것이 실감 납니다. AI 위험을 경고하고 해결하기 위해 노력하는 기업이나 기관의 인물들이 눈에 띕니다. 영국, 미국에 신설된 AI 안전 연구소를 이끄는 인물들도 등재되었습니다. 영국 공정거래위원회, 미국 상무부 장관과 과학기술부처의 정부 관료들도 이름을 올렸는데요. 작년부터 집중적으로 논의되고 있는 AI 규제를 만들고 실행하는 이들이 AI 기술개발에도 큰 영향을 미치고 있다는 점을 시사합니다. 100인의 인물을 살펴보며 알게 된 새로운 인물도 소개합니다. 미국 전역에서 딥페이크 피해자 보호 캠페인을 하는 열 다섯살의 프란체스카 마니(Francesca Mani)입니다. 마니는 반 친구들이 딥페이크를 사용해 자신을 포함한 여학생 친구들의 사진으로 성 착취적인 불법 합성물을 만들었다는 사실을 알게 된 이후 다시는 이런 일이 일어나지 않도록 전국의 정책 입안자, 학교 위원회, 기술 회사 앞에서 시위를 시작했다고 합니다. 그 외에도 흥미로운 인물들이 많이 있으니 한 번 살펴보는 것을 추천합니다. 💬 댓글- (🤖아침) 이런 종류의 목록이 발표되면 으레 갑론을박이 뒤따릅니다. 그중 기술 전문 저널리스트 브라이언 머천트의 의견이 눈에 띄었는데요. 머천트는 목록에 기업 CEO를 위시한 업계 거물이 대거 포진한 반면 팀닛 게브루, 에밀리 벤더, 조이 부올람위니, 테드 창, 메러디스 휘태커 등 비판적 목소리를 높여온 인물들이 작년과 달리 올해는 빠진 점에 주목합니다(리나 칸, 사샤 루치오니, 벤 자오 등이 그 자리를 대신하고 있긴 하지만요). 그리고 이 목록이 잘못되었다기보다, 오히려 너무나도 현실을 정확하게 드러낸다고 꼬집습니다. AI는 부자들이, 부자들을 위해, 노동을 자동화하여 기업의 이윤을 극대화하고자 만드는 기술이라는 것이죠. 2. AI 기업이 쓸어 담는 수조 원의 투자금 오픈AI가 수십억 달러 규모의 자금을 조달하기 위한 투자 유치 중이라고합니다. 현재 기업가치를 1000억달러(약 134조원) 규모로 추정하는데요. 엔비디아가 투자자로 참여한다거나, 비영리를 표방한 투자금의 100배 수익 제한 기업(capped for profit) 구조마저도 포기한다는 여러 소문이 무성합니다. 오픈AI의 주간사용자가 2억명을 돌파했다는데, 여전히 막대한 투자금이 필요하다는 것은 모델 개발에 끊임없이 돈이 들어간다는 뜻이겠죠. 오픈AI의 방향성에 반대하며 사임한 일리야 수츠케버(Ilya Sutskever) 또한 최근 막대한 투자금을 조달했습니다. 그가 창업한 Safe Superintelligence(SSI)가 설립 3개월 만에 10억 달러(약 1조 3,000억 원)의 투자를 받았다는 소식입니다. 어떤 기술을 개발하는지는 아직 구체적으로 알려지지 않았으나, 일리야 수츠케버를 믿고 대규모의 투자가 진행된 것으로 보입니다. SSI 측은 안전한 초지능을 만드는 것을 목표로 제품을 시장에 출시하기 전에 몇 년 동안은 연구 개발에 투자할 것이라고 밝혔습니다. 도대체 이 AI 기업들은 이 돈을 다 어디에 쓸까요? 아마 많은 돈이 컴퓨팅 자원을 확보하는 데 쓰일 것으로 보이는데요. 불확실한 AI의 미래에 너무 많은 인간의 자원이 투입되고 있지는 않은지 우려됩니다. 더 좋은 AI를 만든다는 명목으로 끊임없이 돌아가는 컴퓨팅 연산이 우리의 미래에도 의미 있는 연산이기를 바랍니다. 3. 대한민국 AI 기본법 불발, 국경을 넘는 AI 국제 조약 각 국에서 AI 규제를 위한 여러 법안이 제출되고 있습니다. 이 중에는 합의되는 법안도 있지만 불발되는 법안도 다수입니다. 우리나라 22대 국회에 재제출된 AI 기본법은 법안심사소위원회를 통과하지 못했습니다. 최근 딥페이크를 이용한 성착취물 실태가 영향을 미친 것으로 보입니다. AI가 악용되는 경우를 규제할만한 방안이 부족하다는 평가인데요. AI 부작용을 막기 위한 실질적인 대책으로서의 법안이 요구되고 있습니다. 한편 국경을 넘어 AI 기술의 위험 통제와 책임을 요구하는 AI 국제 조약에 미국, 영국, 유럽연합을 포함한 10개국이 서명했습니다. 정식 명칭은 “AI와 인권, 민주주의 및 법치에 관한 기본 협약” 입니다. 5개 서명국이 본 조약을 자국 법률에 따라 비준하면, 3개월 후 발효됩니다. 이 조약은 유럽 AI 법이 유럽 지역에만 적용되는 한계를 보완한다는 의미가 있습니다. 그러나 구체적인 벌금 등 제약사항이 없다는 점에서 실효성에는 의문이 제기되고 있습니다. 미국도 연방정부 차원의 AI 법은 없으나, 미국 AI 안전 연구소는 오픈AI와 앤트로픽의 AI 모델 사전 테스트 권한을 확보했다고 밝혔습니다. AI 모델 출시 전 모델의 성능과 위험을 평가한다는 취지입니다. 앞으로 정부가 직접 AI 모델을 평가할 수 있는 역량이 규제의 핵심이 될 것으로 보입니다. 4. 딥페이크 성착취물 반대 행진 전국 144개 시민사회 단체가 주최한 텔레그램 딥페이크 성폭력 대응 긴급 집회에 시민 500여 명이 참여했습니다. 보신각 앞에 모인 참석자들은 “불안과 두려움 아닌 일상을 쟁취하자!”는 구호를 외치며 행진했습니다. 정부가 범죄자들을 강력하게 처벌하고 플랫폼이 적극 대응하기를 촉구하는 마음이 전해졌길 바랍니다. 한국의 딥페이크 성착취물 실태가 전세계적으로 알려지면서, 세계의 많은 여성들도 함께 분노하고 있습니다. 영국의 한국대사관 앞에서는 한·중·일 동아시아 여성을 비롯해 세계 각국 출신의 100여명이 불법촬영물, 여성혐오문화 반대를 외치고 딥페이크 성범죄 사태 해결을 촉구하며 행진했습니다. 이번주 수요일(2024년 9월 11일)🦜AI 윤리 레터도 딥페이크 성범죄 이슈에 관해 이야기하는 자리를 사회적협동조합 빠띠와 함께 마련했습니다. 매일 끊임없이 쏟아져 나오는 뉴스를 보며 쌓이는 분노의 에너지를 문제 해결의 에너지로 바꿔내고 싶은 분들을 초대합니다. 직접 문제해결을 위한 캠페인을 만들고 실행해보는 워크숍 시간으로 준비했습니다. 다양한 분을 만나뵙고 말씀 나누길 기대합니다. 📆 소식- 딥페이크 성범죄, 우리가 함께 할 수 있는 일을 찾아서(feat.캠페이너 인생게임)주최: 사회적협동조합 빠띠 & AI 윤리 레터(행사일: 2024-09-11) #feedback 오늘 이야기 어떠셨나요?여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.

사진 내리기 말고 할 수 있는 일: AI 기업에 요구하기 by 🎶소소 딥페이크 성범죄 영상물을 제작, 소지, 배포하는 행위는 개인의 존엄성과 인격권을 파괴하는 중대한 범죄입니다. 딥페이크가 아니라 불법 합성물이라고 부르겠습니다. 일부 대학에서 드러났던 불법 합성물 성범죄 사건이 사실상 사회 곳곳에서 일어나고 있으며, 내가 사는 지역과 다니는 학교의 지인들이 중심이 되었다는 충격적인 보도 이후 논의가 계속되고 있습니다. 현재까지 경찰에 신고된 피해자 대부분은 10대 20대로, 피의자 중 다수는 피해자와 같은 학교 학생이라는 점은 많은 이들을 경악하게 합니다. 경찰과 검찰은 불법 합성물 성범죄 관련 행위를 신종 학교 폭력으로 규정하고 엄정 대응 방침을 발표했습니다. 방송통신심의회도 불법 합성 성착취물에 강력 대응하겠다고 밝혔습니다. 여성가족부 또한 경찰과 연계해 피해자 영상물 삭제를 지원하겠다고 했고요. 윤석열 대통령은 딥페이크 없는 건강한 온라인 환경을 만들 것을 촉구했습니다. 언론중재위원회는 성적 딥페이크 콘텐츠를 삭제하고 차단하기 위해 소셜미디어 기업과의 소통을 강화하는 협의체를 구성할 계획이라고 밝혔습니다. 네, 다 좋습니다. 정부 기관에서 약속한 대로 빠르게 엄정하게 대응해주셨으면 합니다. 그동안 우리는 뭘 할 수 있을까요? 학교에서는 딥페이크 예방을 위해 가정통신문을 보냈습니다. 유의사항에는 “SNS 계정에 연락처, 사진 등 개인정보를 공개하는 것을 주의”하라고 적혀있습니다. 많은 아이들이 혹시나 하는 마음에 모든 SNS에서 사진을 삭제하고도 밤새 스마트폰을 붙잡고 불안해한다고 합니다. 가정통신문에는 우리가 당장 할 수 있는, 뭐라도 해야 하는 마음이 담겼겠지요. 그런데 도대체 피해자들이 얼마나 더 주의를 해야 할까요? 미니스커트를 입으면 성적 호기심을 유발할 수 있으니 입지 말라는 역사가 반복되는 느낌입니다. 이러다가 모두가 히잡을 두르다 못해 눈코입까지 가려야 할 판입니다. SNS에서 사진 내리기 말고 우리가 더 할 수 있는 일은 없을까요? 불법 합성물이 제작되고 유포되는 과정을 그려보았습니다. 전체 과정에서 피해자가 한 일은 개인 SNS에 사진을 올린 것 뿐입니다. 그 이후로는 여러 이해관계자가 따로 또 같이 범죄를 위해 움직입니다. 피해자의 사진을 도용해서 불법 합성물 제작을 시도한 사람이 시작점입니다. 불법 합성물을 제작해주는 익명 채널에 참여한 22만명은 모두 잠재적 범죄자입니다. 의뢰자 스스로가 딥페이크 제작자이거나, 제작자가 SNS 범죄방 운영자이자 유포자일 때도 있습니다. 모두 범죄에 가담한 가해자입니다. 이 과정에는 개인이 아닌 “기업”의 역할도 있습니다. SNS 플랫폼 기업은 범죄의 유통책이 되고, 딥페이크 서비스 기업은 불법 합성물 제작에 활용됩니다. 불법 합성 성착취물의 유통 채널인 SNS를 통제할 수 있을까요? 국내에서는 많은 불법 합성물들이 텔레그램을 통해 유포됩니다. 표현의 자유를 보호하기 위한 텔레그램의 강력한 운영 방침이 역설적으로 범죄 집단들이 범행을 모의하는 공간을 만들어주고 있습니다. 딥페이크 뿐만 아니라 사기, 마약, 밀매, 테러 조장 등 범죄 온상이 되고 있습니다. 텔레그램이 수사에 협조하지 않아 수사가 어렵다는 이야기를 한 번쯤 들어보셨을 텐데요. 최근 프랑스에서 텔레그램 CEO이 체포되며 대한 아동 성착취물(Child Sexual abuse material, CSAM) 및 기타 범죄와 관련된 조사가 시작되었습니다. 이 때문인지 텔레그램이 방송통신심의위원회가 긴급 삭제 요청한 디지털 성범죄 영상물 25건을 삭제하고 사과했습니다. 앞으로 딥페이크 성착취물 문제를 위해 노력하겠다고 밝혔습니다. 유통 채널만의 문제는 아닙니다. AI가 불법 합성물을 더욱 쉽고 빠르게 만들어주는 덕분에 피해 범위는 더욱 커지고 있습니다. AI 기술에 익숙한 사람이라면 오픈 소스로 공개된 AI 모델을 직접 내려받아 사용할 수 있습니다. 기술은 전혀 모르더라도 조금만 검색해보면 딥페이크 서비스로 쉽게 얼굴을 합성할 수 있습니다. 얼굴 합성에 쓰이는 AI는 오래된 기술입니다. 기술이 발달한 환경에서 10대 청소년에게 딥페이크는 아주 오래된 보통의 장난이 되었습니다. 여기에 생성AI가 더해지며 더 빠르고 좋은 품질의 이미지가 쉽게 만들어지고 있습니다. 최고의 성능을 경쟁하는 AI 얼굴 합성 프로그램도 검색만 하면 수십 개가 쏟아집니다. 사진 한 장만 있으면 사진뿐만 아니라 영상까지도 수십 초 내로 합성할 수 있습니다. 일부 서비스는 무료이고, 대부분이 월 4.99$(약 7000원) 정도면 제한 없이 서비스를 이용할 수 있습니다. 창작을 민주화한다는 아름다운 구호 아래 AI는 범죄를 돕는 쉽고 빠르고 성능 좋은 도구가 되고 있습니다. 영국 비영리 단체 IWF(Internet Watch Foundation) 은 한 달 간 온라인에 게시 된 11,000개 이상의 AI 생성 이미지를 분석한 결과 3,000개 이상의 이미지가 범죄로 분류될 만큼 심각하다고 판단했습니다. 그러나 대부분의 생성AI 이미지 서비스에서 윤리 정책이나 안전 장치는 전혀 찾아볼 수 없었습니다. 일부 빅테크를 제외한 딥페이크 서비스들은 스타트업 규모로 경쟁에서 살아남기 위해 고군분투하고 있기 때문입니다. 그동안 범죄자는 쉽고 빠르게 범죄를 저지르는데 AI를 이용하고 있습니다. 우리는 딥페이크 관련 기업에도 이러한 피해를 예방하기 위한 조치를 취하도록 요구해야합니다. AI 학습 데이터셋 구축 기업이나 모델 개발사도 마찬가지입니다. 수십억 개의 이미지 공개 데이터셋인 LAION-5B에는 유명 포르노 사이트를 포함한 다양한 소스에서 스크랩 된 아동 성착취물이 포함되어있습니다. 이 때문에 미국과 캐나다에서는 이 공개 데이터셋의 삭제를 요청해왔고요. 이러한 요청에 며칠 전 LAION 팀에서는 아동 성착취물 데이터를 제거한(2천여 건 삭제) 버전을 발표했습니다. 최근 허깅페이스에서는 이미지 생성 AI 모델인 Stable Diffusion ver 1.5 모델이 삭제되었습니다. 이 모델은 아동 성착취물 생성에 뛰어나다고 알려졌습니다. 아동 성착취물이 포함된 데이터셋(LAION-5B)를 학습했기 때문인데요. 그 덕분인지 이 모델은 600만 회 이상 다운로드 된 인기 모델 중 하나였습니다. 그런데 이 모델은 부적절한 이미지 생성의 온상이라는 여러 지적에 따라 최근 모델 호스팅 사이트인 허깅페이스에서 제거된 것입니다. AI 기업은 AI 모델과 서비스를 안전하게 개발, 배포 및 유지 관리할 책임이 있습니다. 그리고 사용자는 계속해서 이를 요구해야 합니다. 아래 우리가 AI 기업에 요구할 수 있는 안전 장치로 아동 안전을 위한 비영리 단체 Thorn이 제안하는 몇 가지를 덧붙입니다. 생성 AI 모델 학습 전 데이터셋 내 아동 성착취물을 탐지, 제거 후 보고 생성된 이미지의 워터마크 및 콘텐츠 출처 표기 아동 성착취물을 데이터로 학습했거나, 재생성할 수 있는 모든 생성 AI 모델을 플랫폼에서 제거 아동 성착취물을 데이터셋에서 제거하지 않는 모델의 재호스팅을 거부 아동 성착취물 생성을 의도적으로 미세 조정된 모델을 식별하여 해당 플랫폼에서 영구히 제거 앱 스토어에서 관련 도구 승인을 거부하고, 검색 결과 및 결제 차단 딥페이크 탐지, AI 생성 콘텐츠 내 워터마크 삽입 등의 기술적 조치 역시 관심을 받고 있습니다. 물론 이러한 기술적인 조치가 문제의 완전한 해결책이 될 수는 없다는 것을 우리는 압니다. 성적 콘텐츠를 소비하고 공유하는 과정의 범죄는 한국 사회의 젠더 갈등과 성차별 문화와 관련이 있습니다. 대통령을 포함한 정부 기관이 범죄에 엄정 대응을 외치지만, 이 사회에 존재하는 여성에 대한 구조적 차별 문제는 언급하지 않습니다. 당사자들은 불법 합성물 성범죄를 방치하는 이 사회의 구조적 문제를 이야기하려면 밤을 새울 지경인데도요. 네, 그래도 좋으니 더는 범죄를 장난이나 실수나 호기심이라며 봐주거나 용인해서는 안 됩니다. 엄중한 처벌이 차별적인 사회 구조에 균열을 낼 수 있기를 바랍니다. 🦜더 읽어보기- 음란물은 딥페이크의 부작용이 아니라 순기능(2024-07-03)- 텔레그램 성착취방의 톱니바퀴, AI(2024-08-26)- 생성 AI 성착취물 시장의 구조(2023-09-04) #feedback 오늘 이야기 어떠셨나요?여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.

AI 윤리 뉴스 브리프 2024년 9월 첫째 주by 🤔어쪈 1. 딥페이크 성착취물 논의, 어디로 흘러가는가 지난주 AI 윤리 레터에서 소개한 딥페이크 성착취물 보도가 큰 반향을 일으키며 후속 논의가 한창입니다. 이 문제는 사실 이미 수차례 일어난 바 있고, 분명 우리는 더 크게 터질 것을 알고 있었습니다. 일종의 산업이라고 해도 될 만큼 규모와 체계를 갖춰나가는 모습도 경악스럽지만, 충분히 예견 가능한 일이었기에 어쩌면 그 시장의 주된 참여자와 피해자 모두 학생이라는 점 때문에 더 큰 반향을 불러일으킨 것은 아닐까 짐작해 봅니다. 지역자치단체와 정부 부처는 즉각적인 대응을 위한 피해 신고와 삭제 조치에 노력을 기울이기 시작했고, 경찰과 검찰 양 수사기관 모두 엄정한 단속과 수사, 처벌을 약속했습니다. 정치권 역시 여야를 불문하고 관련 처벌 규정을 강화하는 등의 법제도 마련 움직임을 보이고 있습니다. 텔레그램과 같은 성착취물 유통 채널이 될 수 있는 플랫폼에 대한 규제를 요구하는 목소리도 커지고 있고, 다른 한편으로는 딥페이크 탐지, AI 생성 콘텐츠 내 워터마크 삽입 등의 기술적 조치 역시 관심을 받고 있습니다. 다층적이고 복합적인 문제인만큼 관련 범죄를 근절하기 위한 다각적이고 단계적인 노력이 필요한 상황입니다. 하지만 그 과정에서 우리가 잊지 말아야 할 것은 레터에서 지적했듯 딥페이크 성착취물이 그저 AI 기술을 악용하는 일부에 의한 역효과 내지는 부작용이 아니라는 점입니다. AI 기술은 분명 이러한 문제가 보다 쉽게 발생하고 만연해지는 방향으로 발전하고 있습니다. 그럼에도 불구하고 벌써부터 불안 과장, 과잉 규제 운운하는 사람들의 목소리는 범죄 방조와 다를 바 없다고 봐야하지 않을까요? 2. 초지능 AI 규제 법안과 AI 하이프의 상관관계 지난 반년간 AI 업계에 뜨거운 논쟁을 불러일으킨 미국 캘리포니아주의 한 법안이 의회를 통과하여 주지사 서명만을 남겨두고 있습니다. 정식 명칭은 ‘프론티어 인공지능 모델법 (Frontier AI Model Act, 이하 SB1047)’으로, 일정 규모 이상의 AI 모델 개발자로 하여금 모델 학습 전 ‘비상 정지’ 기능을 도입하고 안전성 시험을 통과해야만 배포를 할 수 있도록 하는 등 미국 내 상대적으로 강력한 규제를 담고 있는 것으로 평가받고 있습니다. 법안을 둘러싼 논의를 들여다보면, 과도한 규제가 빅테크 뿐만 아니라 스타트업과 오픈소스 등에서 일어나는 혁신을 저해한다는 전형적인 비판을 넘어 생각해볼만한 논쟁 지점들이 있습니다. SB 1407이 주목하는 위험은 AI가 대량살상무기를 만들거나, 핵심 기반시설에 대한 사이버공격을 가하는 상황 등에 해당합니다. 이를 방지하기 위한 노력이 불필요하진 않겠지만 얼마나 현실적인지 의문을 제기해볼 수 있겠죠. 또한 다목적·다용도의 AI 모델에 대한 규제가 이를 활용하는 자에게 적용되어야 하는지, 아니면 AI 모델 개발자에게 적용되어야 하는지 역시 쉽게 답을 내리기 어려운 질문입니다. SB 1047의 내용은 분명 그간 초지능이 가져올 위험을 강조해 온 AI 하이프의 영향을 크게 받은 것으로 보입니다. 이러한 법안이 AI로 인해 이미 발생중인 피해를 경감하거나 방지하는 다른 어떠한 규제보다 가장 빠르게 초당적 지지를 얻었다는 점은 못내 씁쓸한 부분입니다. 하지만 앞서 던진 질문들과 더불어 AI 하이프에 열심히 바람을 불어넣고 규제가 필요하다던 기업들이 돌아서서 반대하는 목소리를 내는 모순적인 모습과 그들의 반대에도 불구하고 입법을 추진하는 주 의회의 추진력 등은 우리에게 많은 생각할 거리를 던져줍니다. 3. AI 교과서 사업이 참고해야 할 LA의 오답노트 정부가 AI 디지털교과서 사업을 계속해서 강행 추진하는만큼 역풍도 거세게 불고 있습니다. 사업 유보를 요구하는 국회 국민동의청원 참여인원이 5만명을 넘어 교육위원회에 회부되었고, 정기국회 및 국정감사를 앞두고 ‘AI 디지털교과서 중단 공동대책위원회 (이하 공대위)’가 출범하여 국회에 청문회 개최를 요구하고 있습니다. 레터에서 여러 차례 다뤘던 AI 디지털교과서의 검증되지 않은 효과성, 학생과 교사 개인정보를 포함한 교실 데이터 수집과 활용의 적절성 등이 주된 우려입니다. 한편 미국에서 두번째로 큰 공교육 관할 구역인 로스앤젤레스(LA)에서도 우리나라 AI 디지털교과서와 매우 유사한 프로그램을 도입했다가 곤혹을 치르고 있다는 소식입니다. 지난 3월 LA 통합교육구는 AI 학습 플랫폼 에드(Ed) 출범을 알리며 한국 교육부가 AI 디지털교과서 사업 추진 근거로 언급했던 것과 거의 동일한 내용을 내세웠습니다. 하지만 에드 개발을 담당한 스타트업이 수개월만에 파산하고, 데이터 유출 및 부적절한 활용에 대한 논란이 일며 모든 장점이 무색해지고 말았습니다. 약속했던 기능들 역시 제대로 구현되지 않았거나 그다지 효과가 없다는 지적입니다. LA 사례는 공대위에서 제기하는 문제들이 단순 기우가 아니라 매우 현실적인 지적임을 보여줍니다. AI가 개인화된 교육 콘텐츠를 제공하는 등 교육 일선의 문제들을 단번에 해결하는 마법의 단어처럼 여겨지곤 하지만 그런 건 각종 AI 과장 광고에서나 주장할 법한 이상적인 일입니다. 단순히 신기술 도입만으로 해결되는 문제는 하나도 없습니다. 중요한 것은 AI 기술이 아니라 교육 현장의 학생, 교사, 학부모와 같은 사람들과 교육이라는 제도 그 자체입니다. 4. AI 법이 있지만 시행까진 시간이 남아서 지난달 EU AI 법이 발효되어 조항에 따라 내년 또는 내후년 시행을 앞두고 있습니다. 최초로 AI 전 분야를 포괄하는 법안인 만큼 그 내용을 어떻게 해석할지, 또 법규 준수를 위해 무엇이 필요한지 적잖은 혼란이 예상되고 있죠. 이러한 우려를 반영하여 EU는 AI 법 적용을 준비하기 위한 자율적인 협정인 AI Pact를 준비하고 있습니다. AI Pact는 AI 개발 기업 등 법 적용 대상이 제도 이행을 준비할 수 있도록 실천 사례 등을 공유하는 네트워크를 구축하고, 이를 토대로 법적 요구 사항을 충족하는 각종 실천에 대한 자율 규제를 이끌어내는 것에 초점을 맞춥니다. 조직의 AI 거버넌스, AI 리터러시 촉진 전략 등 경영 차원의 내용부터 합법적인 AI 학습 데이터 확보 방안, AI 시스템에 대한 인적 감독 메커니즘 등 실무적인 내용까지 폭넓은 항목을 담고 있습니다. EU는 AI Pact 참여 기업을 계속해서 늘리기 위해 노력중입니다. 아직 그 목록이 공개되진 않았지만 최근 독일의 대표적인 AI 기업 알레프 알파(Aleph Alpha)가 투명성과 법률 준수를 내세운 모델을 출시한 것이 이러한 노력의 일환인 것으로 보입니다. 이러한 움직임은 입법 논의를 미루기만 하고 있는 우리나라에서도 참고해볼 수 있지 않을까요? #feedback 오늘 이야기 어떠셨나요?여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.

꺼진뉴스 다시보자 vol. 12 이 코너의 제목은 ‘꺼진뉴스 다시보자’지만, 이번 호에서 다시 보고자 하는 뉴스는 꺼진 뉴스가 아닙니다. 먼저 한국을 태우고 있는 딥페이크 성착취와 연결해 이른바 ‘성산업’을 생각하는 기획 보도를 가져왔습니다. 지난 주에는 23명이 사망하는 화재 사고가 난 아리셀의 대표가 중대재해법 위반으로 구속됐죠. 아리셀 참사 유족을 돕고 있는 이주민 활동가를 인터뷰한 기사를 다음으로 보여드립니다. 그리고 불씨가 꺼지지 않게 전력을 다하는 법조 전문 독립언론 <코트워치>도 소개해 드립니다. 조금 버거우실 수도 있겠습니다만, 자, 불길을 마주하러 가 볼까요? ⓒ한겨레 & 곽진산 기자 1. 연재·기획: 30조 성산업 불패의 공범들 "30조~37조원 규모로 추산됐던 성매매 산업을 지탱하는 주범은 성구매자와 성매매 알선자이지만, 주변에 기생하며 이익을 얻는 공범들의 존재도 만만치 않다. 성매매 장소 제공자와 성매매 대리 예약자 등이 그 주인공이다. ✍🏻 한겨레 탐사팀, <한겨레>  한창 공개 중인 <30조 성산업 불패의 공범들>을 소개해 드리는 이유는 명백합니다. 딥페이크 성착취가 한국을 태우고 있습니다. 저는 최근 ‘성폭력은 타인이 존엄을 갖춘 인간이라는 점을 인정하지 않는 데서 출발한다’라는 의견을 접했는데요, 그런 모습을 가장 강렬하게 경험하는 곳이 성매매 업소라고 생각하게 됐습니다. 석유를 부은 듯 꺼질 줄 모르고 타오르는 성착취란 불을 같이 지켜보고, 불을 끌 방법을 생각하기 위해 이 기획 보도를 소개합니다. <30조 성산업 불패의 공범들>의 좋은 점은 ‘건물주’에 주목했다는 점입니다. 언론이 기존 성산업을 보도할 때 주로 주목했던 판매자와 구매자 대신 다른 축에 주목했고, 성산업은 공간을 소유한 사람이 묵인하며 자라 왔다는 점을 알렸기 때문입니다. 성착취 산업 또한 공간이 없으면 존속할 수 없습니다. 주인의 거부 한 번이면, 성폭력 피해자를 지원하기 위한 해바라기센터 옆에 성착취 공간이 운영되는 어이없는 일이 없었을지도 모릅니다. 뉴스 보러 가기🔥 2. 인터뷰 : “그들의 울분과 절망…고스란히 옮기고 싶었다” ⓒ경향신문 "통역이란 원래 “오버하지 않고 정제된 감정으로 말만 옮겨야 하는 것”이라고 생각했다. 하지만 참사의 상처를 가까이서 접하다 보니 “유가족들이 뭔가를 표현하려고 해도 황망하고 언어를 상실한 상태라고 판단했다”며 “담담하게 내용만 전달할 게 아니라 울분, 분노, 절망까지도 고스란히 옮겨야겠다고 생각했다”고 밝혔다. 편향적인 통역사는 ‘명예 유가족’이 되었습니다. 화성 아리셀 참사 유가족의 통역을 맡고 있는 박동찬 경계인의몫소리연구소 소장의 이야기입니다. 목이 메어 울음을 터뜨리는 유가족을 대신해, 정부를 향해 질타하고 유가족의 울분, 분노, 절망을 옮깁니다. “언어를 상실한 상태”에 놓인 유가족에게 필요한 건 정제된 감정으로 옮겨진 말이 아닐 거란 생각에서입니다. 혹자는 이러한 편향을 지적할 수 있겠습니다. 그런 말을 들으면, 우리 사회와 언론이, 아리셀 참사에 편향적이지는 않았는지 돌아보게 되는데요. 아리셀 참사 이후 일주일 뒤, 시청역에서 일어난 사고에 우리는 더 공감하고, 울분을 토하고, 분노하진 않았는지, ‘이주노동자’의 일이라는 생각에 아리셀 참사에 무심하지는 않았는지 말입니다. 이주노동자를 가시화하겠다는 박 소장의 다짐이 어쩐지 더 결연하게 들리는 요즘입니다. 박 소장의 인터뷰는 지금껏 비가시화하며 일관했던 이주노동자 문제를 머지 않아 눈 앞에서 마주할 한국 사회에 꼭 불 붙어야 할 목소리 중 하나입니다. 뉴스 보러 가기🔥 3. 독립 언론 : 오송참사 첫 판결 "2023년 7월 15일 발생한 미호강 범람은 피고인의 중대한 과실로 인한 것이지 자연재해로 인한 것이 아닙니다.” (2024. 5. 31. 전OO 현장소장에 대한 선고) ✍🏻 최윤정 기자, <코트워치> 이번 코너는 불 붙일 매체를 소개해 볼게요. 한 사건의 1심 재판부터 최종심까지 따라가는 독립언론, <코트워치>입니다. 최근 몇 년 사이 사회의 모든 갈등과 과제가 사법부로 모이고 있습니다. 크고 작은 문제들이 모두 소장으로 제기되고 법대로 판단한 결과만이 사회적으로 인정받아요. 전에 소개드린 <자꾸 법원이 특종을 한다>(시사IN) 기사에도 이 문제점이 잘 드러나 있죠. 기소발, 최종 판결 기사는 넘쳐나지만 모순되게도 법정 공방 과정을 담은 기사는 찾아보기 어렵습니다. 독립언론 <코트워치>는 이 공백에 주목합니다. 올 5월에 나온 오송참사 최종 판결을 기억하시나요? 재판부는 ‘미호강 범람은 자연재해가 아니라 인재’라고 못 박으며 책임자에게 징역 7년 6개월을 선고했죠. 곧 공개될 코트워치의 프로젝트 <오송참사 첫 판결>은 최종 판결로 이어진 4개월 동안의 재판 과정을 담는다고 합니다. 미호강의 범람을 막지 못했던 ‘임시 제방의 높이’가 주요 쟁점이 된 재판 현장도 읽어볼 수 있습니다. 대부분의 언론은 기사를 쓰는 동안 사건에 머무르고 다시 새로운 뉴스를 찾아 떠나길 반복합니다. <코트워치>의 강점은 법정 취재를 바탕으로 한 사건을 깊이 있게, 다각도로 바라볼 수 있다는 데에 있지 않을까요. 법원발 특종이 강세한 언론 환경에서 <코트워치>가 만들어갈 변화가 기대됩니다. 뉴스 보러 가기🔥 에디터가 남긴 편지 안녕하세요 독자님, 어떤 편지를 띄울지 고민하다 그간 제 머릿속을 장악한 단어를 풀어보려 해요. 바로 ‘딥페이크 성범죄’입니다. 사진 한 장이면 성착취물이 뚝딱 만들어지는 세상까지 오게 될 줄은 몰랐습니다. 처음 소식을 접하고 크게 분노했지만 머리를 한 대 맞은 것만큼의 충격을 받진 않았습니다. 딥페이크 텔레그램방에 22만 명이 참여하고 있다는 소식에도 덤덤했어요. 전국에서 택시를 목격하는 수만큼 성착취물을 공유하는 가해자와 함께 일상을 살아간다는 사실, 한편으로 믿고 싶지 않았던 것 같습니다. 생각해 보니 ‘딥페이크 성범죄’는 하늘에서 뚝 떨어진 사건이 아니었습니다. 오래된 문제의 또 다른 형태에 가까웠죠. 일전에는 N번방과 지인능욕방이, 웹하드 카르텔이 있었습니다. 방을 운영했던 가해자가 처벌받았을지 몰라도 성착취를 ‘놀이 문화’즘으로 여기는 사고방식은 뿌리 뽑지 못했습니다. 성착취물을 시청하고 소지해도 처벌받지 않기에 가해자들은 성착취물을 콘텐츠로 소비했죠. 심지어 돈으로 교환되는 수익구조가 만들어질 때까지 어떤 조치도 하지 못했습니다. 그 무수한 실패가 모여 오늘의 ‘딥페이크 성범죄’까지 왔습니다. 더해진 문제라면 기술을 빌려 더 빠른 속도로 광범위한 피해를 만든다는 점입니다. 지인의 셀카를 저장해 성착취물을 만들고 학교, 지역, 직장 등의 카테고리로 분류해 판매하는 과정은 상상하는 것만으로 고통스럽습니다. 지난한 성착취의 계보를 어떻게 끊어낼 수 있을까요? 당연한 얘기를 끊임없이 하는 게 힘들지만, 당장 반대할 수 있는 것은 반대하자는 이야기를 하고 싶습니다. 먼저 ‘조심하라’는 말은 듣지 않겠습니다. 피해 예방법으로 여성들에게 프로필 사진을 내리라 권유합니다. 낮에 귀가하고, 긴 바지를 입는다고 여성이 안전한 적은 한 번도 없었습니다. 피할 수 없는 범죄를 여성의 조심성과 연결 짓는 이 말은 결국 여성의 일상을 옥죕니다. 딥페이크 범죄를 즉각 수사하고, 소지하고 공유한 가해자까지 처벌해 ‘놀이’가 아닌 ‘범죄’라는 메시지를 각인시키는 게 먼저여야 합니다. 한편으로 ‘딥페이크 성범죄’를 기술 발전이 낳은 그림자로 규정하는 흐름은 경계하고 싶습니다. 교육부가 디지털 규범 및 윤리 교육을 강화하겠다고 해법을 제시했지만 오로지 기술 발전과 교육 간의 공백에서 출발한 문제는 아닙니다. 여성을 인격과 감정을 가진 사회 구성원으로 바라보지 않는 시각이 딥페이크 성범죄를 가능하게 했으니까요. 무엇보다 일시적인 성폭력 예방 교육보다 “너네들 얼굴로는 성착취물을 만들지 않는다”는 교실 속 폭력이 용인되지 않는 문화를 만드는 게 중요하지 않을까요? 부디 딥페이크 성범죄의 다음은 없길 바라는 마음에서, 폴라리스도 위 이슈를 추적하며 독자님께 소식을 전하겠습니다. 2024. 09. 02.에디터 해안🌊 드림

2024년 8월, 한국 사회는 텔레그램을 통한 딥페이크 범죄의 확산으로 큰 충격에 빠졌다. 'N번방 사건’ 이후 또다시 텔레그램을 이용한 성범죄가 대규모로 발생하면서 국민들의 불안감이 고조되고 있다. 특히 이번 사건은 중·고등학생이 더 많은 비중으로 가담한 것으로 알려지며, 사회적 충격은 더욱 컸다. 피해자들의 얼굴과 개인 정보가 무단으로 합성된 음란물이 유포되었고, 이로 인해 사회적 논란이 확산되고 있다. 이러한 상황에서 텔레그램의 폐쇄와 여러 법적 대응이 논의되고 있지만, 과연 이러한 조치들이 딥페이크 범죄를 근본적으로 해결할 수 있을지 의문이다. 텔레그램은 결국 여러 가지 음란물 유통망 중 하나에 불과하기 때문이다. 텔레그램, 시민과 '범죄자' 모두에게 안전한 메신저 우선, N번방 사건부터 이번 딥페이크 범죄까지 왜 ‘텔레그램’이 화두에 오르게 됐는지 알아보자. 텔레그램은 강력한 보안성으로 유명한 메신저다. 특히 자체 개발한 MTProto 암호화 프로토콜을 통해 메시지 전송의 효율성과 보안을 동시에 제공한다. 이 프로토콜은 마치 특별한 암호를 사용하는 것과 같아서, 텔레그램 사용자들이 주고받는 메시지를 다른 사람들이 읽을 수 없게 만든다. 쉽게 말해, 비밀 편지를 주고받는 것처럼 안전하게 대화할 수 있게 해준다. 또한 텔레그램의 '비밀 채팅' 기능은 엔드투엔드 암호화 기술을 적용한다. 이는 메시지가 보내는 사람의 휴대폰에서 받는 사람의 휴대폰으로 직접 전달되는 것과 같다. 중간에 있는 텔레그램 서버(큰 컴퓨터)조차도 그 내용을 볼 수 없게 만드는 기술이다. 마치 봉인된 편지를 전달하는 우체부가 편지 내용을 볼 수 없는 것과 비슷하다. 이러한 보안 조치는 사용자의 개인정보를 보호하는 데 큰 역할을 한다. 하지만 동시에 범죄자들이 법의 감시를 피하는 데에도 악용될 수 있다. 텔레그램 창업자 파벨 두로프의 말대로, 범죄자에게는 안전하면서 정부에게는 개방적일 수는 없는 것이다. 최근 발생한 딥페이크 범죄에서도 텔레그램의 이러한 특성이 악용되어, 범죄자들이 쉽게 법적 제재를 회피하고 피해를 빠르게 확산시킬 수 있었다. 텔레그램 폐쇄, 딥페이크 범죄를 근본적으로 해결할 수 없어 텔레그램은 그동안 사용자 프라이버시 보호를 이유로 수사에 협조하지 않는다는 입장을 고수해왔다. 창업자 파벨 두로프는 여러 차례 정부의 요청에 맞서 사용자 데이터를 보호하겠다는 의지를 강력히 표명해 왔다. 이는 텔레그램이 다른 메신저와 차별화되는 중요한 요소이지만, 동시에 심각한 범죄가 발생했을 때 법적 대응을 어렵게 만드는 요인이 되고 있다. 텔레그램 폐쇄는 일시적으로 범죄를 억제하는 데 효과가 있을 수 있다. 하지만 텔레그램을 폐쇄한다고 해서 불법 음란물을 보려는 욕구와 만드려는 욕구가 없어지지는 않는다. 즉, 텔레그램을 폐쇄하면 범죄자들은 다른 암호화 메신저나 다크웹과 같은 대체 플랫폼으로 이동할 가능성이 크다. 이는 오히려 범죄 수사에 더 큰 어려움을 초래할 수도 있으며, 텔레그램 폐쇄가 근본적인 해결책이 아님을 시사한다. 만약 텔레그램을 삭제하는 방향으로 이번 딥페이크 사태를 해결하려고 한다면, 인터넷 검열이 강화되며 국가 권력이 개인의 자유를 더 크게 침해할 것이다. 또한, 텔레그램 폐쇄는 수많은 정당한 사용자들에게도 불편을 초래할 수 있다. 많은 사용자들이 텔레그램의 강력한 보안성과 편의성, 그리고 다양한 기능을 이유로 선택했으며, 이들 대부분은 범죄와 무관하게 서비스를 이용하고 있다. 따라서 텔레그램을 폐쇄하면 프라이버시 보호와 자유로운 의사소통이라는 텔레그램 사용자의 권리를 훼손할 위험이 있다. 블록체인 기술: 딥페이크 범죄 방지의 새로운 전략 정리하자면, 딥페이크 범죄를 근본적으로 해결하기 위해서는 단순히 텔레그램을 폐쇄하거나 범죄자들을 처벌하는 것만으로는 충분하지 않다. 지속적으로 발생할 딥페이크 음란물 범죄자들을 처벌하기 위해, 딥페이크 음란물의 생산부터 유통까지의 과정을 원천적으로 추적할 수 있는 기술적 해법이 필요하다. 그 중 하나가 블록체인 기술을 활용하는 것이다. 블록체인은 정보를 중앙에서 관리하지 않고 여러 사람의 컴퓨터에 나누어 저장하는 기술이다. 이는 마치 학급 일기를 한 명이 가지고 있는 것이 아니라, 반 친구들 모두가 똑같은 내용의 일기를 가지고 있는 것과 비슷하다. 모든 참여자가 같은 정보를 공유하기 때문에, 누군가가 그 정보를 몰래 바꾸거나 지우는 것이 거의 불가능하다. 이런 블록체인 기술을 활용하면, 콘텐츠가 생성될 때마다 그 기록이 저장되어 누가, 언제, 어떤 콘텐츠를 만들었는지 투명하게 알 수 있다. 이는 마치 SNS에 단 댓글이 사용자 계정과 작성 시간, 내용이 남는 것과 비슷하다. 하지만 블록체인은 이러한 기록을 중앙 서버가 아닌 네트워크에 참여하는 모든 사람들이 공유한다는 점에서 더더욱 생성부터 유통까지 추적이 용이하다. 블록체인 기술은 AI(인공지능)가 생성한 콘텐츠에도 적용할 수 있다. 예를 들어, AI로 만든 딥페이크 영상이 있다면, 그 영상을 누가 언제 어떻게 만들었는지, 누가 해당 영상을 가지고 있고 누구에게 보냈는지 모두 기록이 남는다. 이렇게 되면 AI가 생성한 딥페이크 영상이나 허위 정보의 유포를 정부나 기업이 사전에 막을 수 있고, 음란물을 퍼뜨린 사람도 쉽게 찾아낼 수 있다. 범죄가 일어나더라도 빠르게 범인을 잡고, 가짜 영상을 지울 수 있게 된다. 사회적 문제 해결, 제도를 뒷받침하는 기술과 함께해야 결론적으로, 블록체인 기술의 도입은 딥페이크 범죄 문제를 해결하는 데 중요한 역할을 할 수 있다. 이 기술을 통해 콘텐츠의 생성, 유통, 소비 과정을 투명하게 관리하고, AI가 생성한 결과물에 대한 책임 소재를 명확히 할 수 있다. 블록체인은 디지털 콘텐츠의 진위를 확인하고 조작을 방지하는 데 효과적인 도구가 될 수 있으며, 이는 딥페이크 범죄를 예방하고 대응하는 데 큰 도움이 될 것이다. 텔레그램 폐쇄나 딥페이크 기술 자체에 대한 비판만으로는 해결되지 않는 문제들을 직시하고**, 지속 가능한 해결책을 모색**해야 한다. 한국 사회는 블록체인과 같은 혁신적인 기술을 적극적으로 도입하고, 이를 뒷받침할 수 있는 법적 제도를 마련함으로써, 더 안전하고 신뢰할 수 있는 디지털 환경을 구축할 수 있을 것이다. 이러한 노력을 통해 딥페이크로 인한 피해자가 더 이상 발생하지 않고, 동시에 첨단 기술의 혜택을 모두가 누릴 수 있는 건강한 디지털 사회를 만들어 나가길 기대한다. 우리의 미래 세대가 기술의 발전을 두려워하지 않고, 그 이점을 충분히 누리며 살아갈 수 있는 한국 사회를 위해 지금 우리의 현명한 선택과 노력이 필요한 때이다. *이 기사는 필자의 아이디어를 통해 여러 생성형AI를 활용해(ChatGPT,Claude,Perplexity AI) 작성한 후, 필자가 직접 퇴고하여 완성하였습니다.

AI 윤리 뉴스 브리프 2024년 8월 다섯째 주by 🤖아침 1. 산업화하는 딥페이크 성착취물 한국의 딥페이크 성착취물 제작유통망에 관한 한겨레 보도가 지난주 나왔습니다. 여성의 얼굴 사진을 넣으면 나체 딥페이크 이미지를 생성해주는 불법합성물 제작 서비스와, 지인의 사진을 공유할 뿐만 아니라 공통 지인을 표적 삼아 성착취물을 제작·유포하는 익명 커뮤니티에 관한 내용입니다. 중요한 보도이니 읽어보길 권합니다. [단독] 딥페이크 텔레방에 22만명…입장하니 “좋아하는 여자 사진 보내라” (한겨레 2024-08-22) [단독] ‘○○○ 능욕방’ 딥페이크, 겹지인 노렸다…지역별·대학별·미성년까지 (한겨레 2024-08-22) 딥페이크 성착취물 제작·유포에 참여하는 인원의 규모(제작용 텔레그램 채널 한 곳에만 22만명이 참여), 조직적인 범죄 양상(여성 지인 사진을 바치는 ‘면접’ 시스템) 등 충격적인 면모가 많지만, 이 사안을 접하는 입장에서 화나는 이유 하나는 이것이 너무나도 예견 가능한 일이었다는 점입니다. 이미지 합성·생성을 쉽게 만드는 AI 기술이 기존의 성착취 구조와 만나 발생시킬 증폭 효과에 관해서는 셀 수 없을 정도로 많은 논의가 있었습니다. 업계나 정부산하기관 자료뿐만 아니라 초등학생 대상 AI 윤리 교재에서도 딥페이크의 해악을 경고합니다. 이런 논의가 선언으로 끝나지 않고 현실의 해악을 해소·예방하는 데 기여할 수 있도록 하는 실천을 고민해야 합니다. “유포 목적 없다”…만들어도 시청해도 처벌 피하는 딥페이크 (한겨레 2024-08-22) “대학에서, 알고 지내던 이들이…내가 알던 세상은 완전히 무너졌다” (한겨레 2024-08-22) 더 읽어보기 음란물은 딥페이크의 부작용이 아니라 순기능 (2024-07-03) 2. AI 이미지, 안 속을 자신 있나요? 생성형 AI의 주요 위험 중 한 가지는 사실과 구분하기 어려운 허위정보입니다. 최근 미국 공화당 대선 후보 도널드 트럼프가 AI 생성 이미지를 이용한 선전으로 문제를 일으켰는데요. 민주당 대선 후보이자 부통령인 카멀라 해리스를 공산당원으로 묘사한 이미지, 테일러 스위프트가 자신을 지지하는 것처럼 합성한 이미지 등을 SNS에 게시한 것입니다. AI 이미지라고 따로 명시하지도 않았습니다. 이런 가짜 이미지에 현혹되는 사람이 바보라고 생각하나요? 생성 이미지와 실제 사진을 구분하기란 의외로 까다롭습니다. 한번 직접 체험해보시죠. 여기 실제 곤충을 찍은 사진과, AI로 생성한 곤충 이미지를 하나씩 보여주는 퀴즈가 있습니다. AI 이미지를 클릭하면 점수를 얻고, 실제 사진을 하나라도 클릭하면 거기서 끝입니다. 25초 동안 가장 많은 점수를 따면 됩니다. https://huggingface.co/spaces/... 설령 내가 개인적으로 AI 이미지를 잘 구분할 수 있다 해도, 수많은 팔로워를 가진 정치인이 허위 이미지를 마음껏 활용하고 플랫폼이 별다른 제재를 가하지 않는 상황에서 이런 이미지가 갖는 힘은 무시할 수 없습니다. 허위정보의 폐해, 현재진행형입니다. 3. AI 위험 분류체계, 통합할 수 있을까? MIT 컴퓨터 과학 및 인공지능 연구소(CSAIL) 기반의 학제간 연구그룹인 퓨처테크(FutureTech)에서 ‘인공지능 위험 저장소’(AI Risk Repository)를 발표했습니다. 인공지능 위험에 관련된 기존 연구논문 43건을 메타분석하여 통합 분류체계를 제시하고 있습니다. 크게는 위험의 주체/의도/발생시점에 따른 분류와, 차별/프라이버시/허위정보/오남용/인간-컴퓨터 상호작용/사회경제 및 환경적 피해/시스템 안전 등 도메인에 따른 분류라는 두 체계 안에서 세부 항목이 있는 형식입니다. 연구팀 측에서는 이것이 ‘기존 AI 위험 프레임워크와 분류체계를 종합 검토하여 각각의 위험을 추출하고 데이터를 공개하는 최초의 사례’라고 주장하는데요. 분석 대상이 된 논문도 문헌 검토 기반의 자료가 많다는 점에서 꼭 그렇게 말할 수 있는지는 모르겠습니다. 메타-메타분석이라고 한다면 맞는 말일까요. 자료의 주 타겟은 정책입안자, 위험 평가 주체, 연구교육자 및 산업계라고 해요. AI 거버넌스와 법규제 관련 논의가 본격화하고 이론적 틀을 제시하는 노력도 활발한 이 시기에, 일종의 ‘완전판’ 프레임워크를 제시함으로써 담론적인 주도권을 가져가려는 시도로 읽을 수도 있어 보입니다. 저자들도 명시하듯 40여 개 문서를 단 한 명의 전문가가 검토했다는 점에서 ‘종합적’인 자료로서는 한계가 있지만요. 4. 이미지 생성 AI 기업 저작권 침해 소송 본격화 개인 창작자들이 스태빌리티 AI 등의 기업을 상대로 제기한 집단소송 기억하시나요? 깃헙 코파일럿 관련 소송, 오픈에이아이 챗지피티 관련 소송과 더불어 생성형 AI 시대의 중요한 재판 중 하나인데요. 이 사건을 다루는 미국 법원에서 AI 기업의 저작권 및 지적재산권 침해가 의심된다고 보아, 소송을 본격적으로 진행하기로 판결했습니다. 디스커버리 제도를 통해 증거 제시에 들어가게 되는 것입니다. 작년에 법원이 해당 소송의 일부 주장을 기각하며 원고측에게 저작권 침해 근거를 보완해오라고 지시한 것에 비추어 보았을 때, 이번 판결은 원고 측 입장에서 중요한 진전으로 볼 수 있습니다. 이미지-텍스트 데이터셋인 라이온(LAION) 시리즈에 원고의 저작물이 포함되었으며, 그 데이터를 학습한 이미지 생성 모델인 스테이블 디퓨전이나 그 모델을 활용한 서비스가 저작권을 침해했는지 따져볼 여지가 있다고 법원이 판단한 것이니까요. 이 재판의 향방에 따라서 스테이블 디퓨전 모델이나 라이온 데이터셋을 활용한 다른 서비스 또한 영향을 받을 가능성이 있습니다. 사실상 대다수의 이미지 생성 관련 기업에 영향을 미친다고 봐야겠죠. 사건의 귀추가 주목되는 이유입니다. 더 읽어보기 깃허브 코파일럿 소송에서 저작권법 쟁점 기각 (2024-07-22) 창작자 생태계 상상하기: 스태빌리티 AI 집단소송 기각에 부치는 글 (2023-11-15) #feedback 오늘 이야기 어떠셨나요?여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.