부끄러운 일에 쉽게 쓰는 AI

by 🎶소소

레터에서 많이 전하는 소식 중 하나는 AI로 인한 문제 소식일 텐데요. AI를 둘러싼 장밋빛 미래 뒤편에서는 AI로 인한 피해와 위험 사례를 모니터링하며 분석하고, 분류 체계로 정리하기 위한 노력도 이뤄지고 있습니다. 오늘은 그중에서 생성형 AI의 오용(Misuse)으로 문제가 된 실제 사례를 모아 분석한 연구 결과를 소개하려고 합니다. 이 연구는 AI의 기능적 결함으로 인한 피해를 제외하고 개인이나 조직이 AI를 의도적인 악용한 사례 약 200건을 살펴보았습니다.

가장 빈번하게 발생하는 AI 오용 사례는 특정 인물을 사칭(Impersonation)하거나 정보를 위조(Falsification)하는 형태로 나타났습니다. AI로 콘텐츠를 끊임없이 생산하여 증폭시키면서(Scaling and Amplication) 가짜 프로필을 이용해 여러 사람의 의견인 척하는(Sockpupetting) 행위도 다수 일어났습니다. 생성형 AI로 인한 피해가 어떻게 진화하고 있는지를 확인할 수 있었는데요. 흥미로운 점은 이렇게 AI를 악용하는 데 프롬프트 해킹과 같은 전문적인 기술이 사용된 경우는 손에 꼽았다는 점입니다. 그저 주어진 생성형AI의 기본 기능을 이용하는 경우가 다수였습니다.

그렇다면 사람들을 어떤 목적으로 AI를 악용하는 걸까요? 오용의 목적(Goal)을 유추하여 분류한 결과 1순위를 차지한 목적은 여론 조작이었습니다. 생성형 AI로 조작된 콘텐츠는 주로 전쟁, 사회 불안, 경제 위기와 관련된 수많은 소문과 음모론을 만드는 데 탁월하게 이용되었습니다. 바이든 대통령을 사칭한 음성 파일과 조작된 하와이 산불 이미지는 조직적으로 퍼지며 정치적 분열을 유도했습니다.

2순위로 꼽힌 AI 오용의 목적은 수익 창출이었습니다. 딱 봐도 생성형 AI로 쓴 것 같은 글로 도배 된 블로그를 한 번쯤 본 적 있으실 텐데요. <AI로 블로그 수익 자동화하는 법>은 유튜브에서도 떠오르는 콘텐츠 중 하나죠. 광고 수익을 얻기 위해 자동으로 생성된 저품질 AI 콘텐츠의 범람을 막기 위해 구글은 새로운 검색 정책을 발표하기도 했습니다. 저품질의 AI 생성 기사나 AI가 쓴 책이 양산되는 문제가 발생하기도 했습니다. 생성형 AI를 활용한 다수의 성 상품화 콘텐츠도 금전적 이익을 목적으로 거래되고 있었습니다.

사기는 AI를 오용하는 또 다른 동기입니다. AI가 생성한 영상이나 비디오를 사용한 화상통화로 직원 동료나 상사를 사칭하여 피해자의 돈을 갈취하거나, 조직의 상표나 로고를 그럴듯하게 모방한 피싱 이메일로 사람들을 속이는 사례가 증가하고 있습니다.

물론 악의적인 여론 조작과 사기 시도는 AI 등장 이전부터 있었던 문제입니다. 그러나 AI가 활용되며 문제가 빠르게 증가하고 악화되고 있습니다. 생성형 AI는 사람들을 더 정교하게 속일 수 있을 뿐만 아니라 싸고 쉽게 사용할 수 있기 때문입니다.

AI 기업이 AI 모델이나 서비스를 배포하면서 자주 덧붙이는 말이 있습니다. “AI 모델은 완벽하지 않음을 주의하라.” AI 기업이 당사의 AI 모델의 완벽하지 않음을 인지하는 것은 중요합니다. 이용자가 비판 없이 AI를 사용하거나 악용하는 것 또한 분명 문제입니다. 그러나 만약 딥페이크 기술이 너무나 쉽고 빠르게 음란물을 만들어 문제가 된다는 사실을 알면서도 모른 척한다면, 기업이 사용자의 악용을 방치하는 것입니다. 이러한 방치가 음란물 제작을 딥페이크의 부작용이 아닌 순기능으로 만들고 있음을 주목해야 합니다.

이렇게 다양한 목적으로 사회 곳곳에서 문제를 만드는 AI의 악용을 어떻게 방지할 수 있을까요?

오픈AI, 구글, 메타 등 AI기업은 책임있는 AI 개발과 활용을 강조합니다. AI 서비스에 안전성 필터(Safety filter)를 적용하고 생성 AI 콘텐츠 탐지 및 워터마크 기술을 사용하는 등 여러 기술적 솔루션도 제안합니다. 그러나 이러한 기술적 조치가 만병통치약은 아닙니다. 악의적인 행위자의 기술도 발전하기 때문입니다.

때로는 AI를 사용하는 사람들을 직접 교육하는 방법도 도움이 될 수 있다고 합니다. 예를 들어, 조작된 정보의 확산을 막기 위해 사람들에게 조작된 콘텐츠 구분법을 알려주는 짧은 동영상을 시청하게 한 것만으로도 신뢰할 수 있는 콘텐츠를 구별하는 능력이 향상된다고 합니다. 예방접종과 같은 효과라고 합니다.

부끄러운 일에 AI가 쉽게 쓰이는 것을 막기 위해 앞으로는 기술적 연구뿐만 아니라 AI를 이용하는 사람에 영향을 미치는 사회적, 심리적 요인의 이해도 더욱 필요할 것으로 보입니다.

#feedback

오늘 이야기 어떠셨나요?
여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.
남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.