AI 윤리 뉴스 브리프 2024년 2월 셋째 주 by. 🥨 채원 1. “인터넷 = 학습 데이터”라는 거대한 바다에 독극물 풀기 생성형 AI가 그토록 빠르고 쉽게 사진이나 그림을 생성할 수 있는 것은 온라인상 존재하는 수많은 창작물을 학습데이터로 활용한 결과라는 것은 여지없는 사실입니다. 학습 데이터에 대한 저작권에 대한 논의가 이루어지고 있는 와중 실시간으로 많은 이들의 저작권이 침해되고 있지만, 개인 창작자로서 이러한 흐름에 맞서기는 쉽지 않은 상황입니다. 이런 개인 창작자들이 창작물을 지키기 위해 사용할 수 있는 도구를 개발하는 연구자들이 있습니다. 글레이즈, 나이트셰이드 등의 도구를 개발하는 시카고 대학교의 벤 자오 교수입니다. 또 다른 인터뷰에서 벤 자오 교수는 충분한 ‘독극물’이 온라인에 존재하게 되어, 기업 입장에서도 저작권료를 정당하게 지불하는 선택지가 무분별한 크롤링을 기반으로 데이터셋을 구축하는 것보다 합리적인 순간이 오는 것이 목표라고 밝혔습니다. 해당 도구는 이미지를 특수하게 처리하여 사람 눈에 보이는 모습은 그대로 유지하면서, AI가 학습할 때는 전혀 다른 그림으로 인식되게 합니다. 저작권을 지키는 일이 단지 개인 창작자의 책임이 되어서는 안 되겠지만, 구조적인 개선이 이뤄지기를 기다리기만 것이 아니라 당장 누구나 쉽게 적용할 수 있다는 데 큰 의의가 있는 것 같습니다. 더불어 새로운 기술을 개발하면서 그 기술로 인해 가장 큰 영향을 받는 당사자들과 함께하고 있다는 점에서도 주목할 만한 연구로 보입니다. 2. 텍스트만 입력하면 영상으로 오픈AI에서 텍스트를 입력하면 최대 1분가량의 영상으로 전환해주는 서비스 ‘Sora’를 발표했습니다. 이미 글이나 이미지를 생성형 AI로 생성하는 기술이 빠르게 발전한 만큼, 어느 정도 예견되어 있던 미래라고도 할 수 있겠습니다. 현재 해당 서비스는 치명적인 위험이나 해를 끼칠 수 있는 부분을 발견하기 위해 OpenAI에서 선정한 일부 사용자들에게만 공개되었고, 당분간은 일반 사용자들에게 공개할 계획이 없다고합니다. 이러한 결정은 오픈AI가 생성형 AI를 둘러싼 각종 논란을 인식하고 있다는 것을 보여주는 것이기도 합니다. 그러나 빠른 기술 발전의 이면에는 다양한 차원의 근본적인 문제점들이 존재하고 있습니다. 데이터 저작권문제, 편향과 차별 문제, 탄소 배출을 비롯한 환경 비용, 극소수의 (대부분 미국에 기반을 둔) 기업만 기술 개발에 참여할 수 있는 독과점적 구조, 저임금 국가의 노동력을 착취한다는 점 등입니다. 오픈AI의 구조가 처음의 약속과 달리 점점 불투명해지고 있다는 비판도 꾸준히 제기되고 있습니다. 그 어떤 기술도 사회적 맥락 없는 진공에서 만들어지지 않기 때문에, 그것을 만들고 사용하는 사람들에게 어떤 의미인지, 어떤 영향을 끼치는지 평가하는 과정이 반드시 필요합니다. 기업의 편의만을 우선시한 채 무분별하게 개발되는 기술은 반드시 사회의 어딘가에서 비용을 치르게 된다는 것을 많은 역사적인 예시들이 보여줍니다. 그럴싸한 영상을 만드는 비용이 급격하게 저렴해지는 지금과 같은 추세가 사회에 어떤 영향을 끼칠 수 있는지 고민하게 되는 지점입니다. 3. 할리우드 배우 노조 파업 배우들 인터뷰 지난해 말 할리우드에서 제작사와 배우조합이 몇 달에 걸친 파업 끝에 영화나 TV 프로그램 제작에 사용되는 AI의 범위에 관해 극적으로 합의한 일이 있었죠. 해당 합의에는 배우가 촬영한 화면이나 소리가 녹화 상태 그대로 유지되지 않을 경우 명시적인 동의가 필요하다는 등의 내용이 포함되었습니다. (최근 논란이 된 손석구 아역 배우의 사례가 떠오르는 대목이죠.) 앞으로도 더욱 다양한 분야에서 창작자와 인공지능 사이에 마찰이 일어날 것으로 보이는데요, 이러한 흐름 속에서 다양하게 투쟁하고 있는 당사자들과 진행한 국내 언론의 인터뷰가 공개되었습니다. 인터뷰이 중 한 명은 당장 현장에서 게임 회사의 직원들이 대규모로 해고되고 인턴십이 취소되는 등 실시간으로 변화를 실감하고 있다는 사례를 전했습니다. 앞으로 AI가 가져올 미래 산업계의 큰 변화가 다양하게 점쳐지는 와중에, 예술계는 지금 이미 눈에 띄는 변화를 겪고 있는 만큼 앞으로의 귀추가 더욱 주목됩니다. 기술은 항상 다양한 사회 변화를 가져왔지만, AI 기술로 인해 생산성이나 노동의 가치가 매겨지는 과정이 이렇게 빠르게 변화할 것이라고 예상한 사람은 많지 않았습니다. 인간의 노동은 인간이 한다는 이유만으로 가치 있는 것인지, AI를 비롯한 다른 기술로 대체되기 어렵기 때문인지 고민하게 됩니다. 4. 로맨틱하지 않은 연애 AI 챗봇 영화 ‘Her’에서 처럼 AI를 활용한 가상의 연인을 개발하는 것은 거대 언어 모델을 비롯한 생성형 AI가 활발하게 사용되고 있는 분야 중 하나입니다. 각종 유무료 서비스가 시시각각 개발되고 있는 와중, 이러한 서비스가 가져올 수 있는 다양한 윤리적 문제가 제기되어 왔습니다. 특히 연애 AI 챗봇의 경우 심리적으로 취약한 사용자에게 미칠 수 있는 영향 등을 차치하고서라도, 이러한 연애 AI 챗봇이 특히 프라이버시 문제에 취약하다는 진단이 나왔습니다. 파이어폭스 브라우저로 익숙한 모질라 재단에서는 ‘Privacy Not Included’라는 시리즈를 통해, 각종 온라인 서비스의 개인 정보 보호 정책을 검토하고 소비자들이 안전한 선택을 할 수 있도록 돕고 있습니다. 모질라에서 11개의 연애 AI 챗봇을 리뷰한 결과, 11개의 서비스 모두 개인 정보 보호에 취약하다고 합니다. 다양한 AI 기술이 점점 사적이고 개인적인 영역까지 녹아들고 있습니다. 대부분의 연애 AI 챗봇 서비스들은 사용자의 심리 상태나 건강 상태 등 매우 사적인 정보를 수집합니다. 그리고 이러한 서비스는 국내의 이루다 사태가 보여준 것처럼, 단순한 ‘기계 고장’ 이상의 문제들을 초래합니다. 외로움이라는, 아마도 인류 역사와 함께했을 근본적인 문제가 이러한 기술로 개선될 수 있는 것일까요? 오늘 이야기 어떠셨나요? 여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.

AI 논쟁 뒤집어보기 : AI를 살펴 보는 다양한 시각들 by. 🥨채원 지난 주, 베를린 사회 과학 센터에서 이루어진 <변화하는 AI 논쟁: AI를 위한 자극, 도발 및 문제 제기>라는 학회에 다녀왔어요. 학회는 Shaping AI라는 프로젝트의 성과를 나누는 자리이기도 했는데요. Shaping AI는 2021년부터 독일 프랑스, 영국, 그리고 캐나다의 연구진들이 3년 간 진행한 다국적, 다학제간 연구로 AI에 대한 공공 논의가 어떻게 진행되는지 살펴보는 프로젝트입니다. 마침 학회에서 다뤄진 내용이 AI 윤리 레터에서 관심 있게 지켜보는 주제들과 일맥상통하는 부분이 많더라고요. 인상 깊었던 발표들 중 구독자 여러분도 흥미로워할 만한 몇 가지 프로젝트를 소개합니다. ‘보통 사람’의 AI AI 전문가만 AI에 관해 이야기할 수 있는 걸까요? 자동차가 어떻게 동작하는지 몰라도 제대로 작동하지 않는 자동차를 비판할 수 있고, 불만을 표출할 수 있는 것처럼, AI도 마찬가지일 것입니다. 그런데도 공적 영역에서 이루어지는 AI 논의에서는 비전문가의 목소리가 잘 들리지 않아요. 이미 AI 기술이 사회의 다양한 영역에서 사용되고 있고, 더욱 늘어날 전망인 만큼 ‘보통 사람’의 시각은 반드시 필요합니다. 이러한 문제 의식에서 출발한 벨기에의 Amai! 프로젝트는 보통 사람들이 AI에 대해 어떻게 생각하는지, AI가 해줬으면 하는 일이 뭐가 있는지 등 AI에 대한 궁금증과 의견들을 수집하여 분석합니다. 이렇게 수집된 궁금증 중에는 ‘AI가 비오는 날 자전거 도로가 더 명확하게 보일 수 있도록 해줄 수 없느냐’는 질문도 있었다고 해요. AI가 마치 모든 문제를 해결해줄 수 있는 전지전능한 기술로 인식되는 경향을 보여주는 예시이죠. 국가와 인공지능의 복잡한 관계 AI 기술의 가파른 발달에 국가는 어떻게 대응해야 할까요? 이 발표를 듣기 전에 저는 국가의 역할은 규제라고 막연히 생각했어요. 하지만 생각보다 국가의 역할이 다양하더라고요. 국가는 AI가 사회에 미칠 영향을 고려하여 시민의 기본권을 보호하기 위한 규제를 만들고 실행하는 역할을 하지만, 그 외에도 AI 서비스를 구매하는 구매자이기도 합니다. 인공지능 개발에 공적 자금을 투자하여 기술 개발을 촉진하는 역할도 하죠. 동시에 인공지능 인프라(슈퍼컴퓨터 등)를 구축하여 기술의 생산자로서의 역할도 수행합니다. 국가의 세 역할은 AI 생태계에 어떤 영향을 미치고 있을까요? 자세한 내용이 궁금한 분들을 위해 저자의 논문을 링크합니다. 각종 기술의 실패에 대처하는 방법 요즘 뉴스를 보면 심심치 않게 AI의 ‘오작동’으로 인해 무고한 사람들이 피해를 보는 사례를 낯설지 않게 목격하게 됩니다. 이러한 AI의 실패 사례들을 모아두는 데이터베이스도 유명합니다. AI가 각종 애플리케이션에 도입되기 시작했던 몇 년 전까지만 해도 이런 사건이 하나 터지면 온 세상을 뒤덮곤 했습니다. 예컨대 인종 차별 문제가 있었던 구글 포토 이미지 분류기나 미국에서 범죄자의 형량을 계산하는 데 사용되었던 COMPAS 알고리즘이 그렇습니다. 이런 ‘사고’가 비일비재해진 탓일까요. 이제는 우리 사회는 웬만한 AI 알고리즘의 실패에는 무덤덤해진 것처럼 보입니다. 무뎌지거나 절망하는 것 외에 할 수 있는 게 없을까, 하는 고민을 하게 되는 순간이 오는 것 같아요. Repair 프로젝트는 기술적 실패를 단순한 사고로 보는 관점에서 나아가, 실패가 자리 잡고 있는 복잡한 맥락을 파악하고, 공공 가치, 신뢰와 같은 공공의 가치에 어떤 영향을 끼치는지 파악합니다. 이를 계기로 사회에 내재하여 있던 문제를 해결하고, 사회 구조의 약한 지점이나 위험 요소를 찾아내서 비슷한 기술 실패가 재발하지 않도록 제도적 개선까지 이어질 수 있도록 노력합니다. 회고를 마치며 AI 기술을 만드는 사람의 입장에 익숙한 제게 이번 학회는 새로운 시각에서 AI를 바라볼 수 있는 기회였습니다. 사회의 맥락 안에서 치열하게 AI를 탐구하는 연구자들을 보며 인간 중심 기술에 대해 더욱 고민하게 되었죠. 구독자분들이 생각하는 인간 중심 AI란 어떤 것일지 궁금합니다. 뉴스레터를 통해 다양한 분들과 생각을 나누게되길 바랍니다. 오래 알고 지낸 온라인 친구가 알고보니 AI였다면? by. 💂죠셉 얼마 전 페이스북 피드를 훑어보다가 흠칫 놀란 일이 있었습니다. 갑자기 웬 화려한 여성분의 사진이 피드에 얼굴을 들이민 겁니다. 얼굴도, 이름도 낯선, 싱가포르에 살고 있다는 Zheng 모 씨. 명품 시계, 스포츠카, 고양이 사진 속 그녀와 아무리 생각해 봐도 친구를 맺은 기억이 없습니다. 계정을 클릭해 들어가 보니 상황이 파악되기 시작합니다. 오래 알고 지낸 대학교 동문의 계정이 해킹을 당한 것이었죠. 학력과 네트워크만 남겨두고 계정 소유주의 흔적을 모두 지우려 했지만 매년 친구들이 남겨온 생일 축하 메시지는 비공개로 바꿀 수가 없거든요. 계정 소유주가 크게 개의치 않는 것인지, 몇 주가 지났지만 Zheng씨는 오늘도 성실히 활동 중입니다. 얼마 지나지 않아 저에겐 또 다른 싱가포르 친구가 생겼습니다. 이번엔 Zhang씨입니다. 귀찮은지 예전 사진을 지우지도 않아 원소유주의 흔적이 그대로 남아있습니다. 대체 무슨 일이 벌어지고 있는 걸까요? 가볍게 글로 풀었지만, 소셜 미디어 사용자라면 한 번쯤 겪어봤을 계정 해킹(Account take-over fraud)의 사례입니다. 해킹 이후 본 계정의 정체성을 그대로 유지하면서 투자를 권유하는 등의 범죄 형태도 있지만 위의 예시처럼 기존 사용자의 흔적을 지우고 다른 사람인 척하는 경우도 있습니다. 높은 확률로 러브스캠 등의 사기행각을 위한 준비 과정입니다. 2022년 미국에서만 7만여 명이 러브스캠으로 피해를 보았고, 피해액은 무려 1조 7천억원에 달합니다. Zheng 씨로 둔갑한 동문의 계정을 더 면밀히 살펴보니, 10년 전 글까지 본인 사진과 글로 꼼꼼히 수정해 놓은 정성이 엿보입니다. 왜 이렇게까지 하는 걸까요? 생성형 AI로 글, 사진은 만들 수 있지만 시간이 축적되며 쌓여야 하는 기록과 네트워크는 생성이 불가능하기 때문입니다. 반대로 말해 ‘쌓인 시간’이란 조건을 갖춘 계정을 탈취한다면, 사기행각에 유용하겠죠. 생성형 AI가 본격적으로 주목을 끈 지난해부터 거대언어모델(LLM)이 위와 같은 범죄에 악용될 가능성은 수없이 제기됐습니다. 수공업 없이도 가짜 이미지나 글을 ‘효율적으로’ 생성해 낼 수 있을 뿐 아니라, 언어 장벽을 뛰어넘어 전 세계를 무대로 활동할 수 있게 해주기 때문이죠. 불길한 가능성은 여기서 그치지 않습니다. 지난해 4월 스탠포드 대학을 통해 발표된 한 연구는 LLM이 온라인상에서 인간과 흡사하게 행동하는 행위자(agent)를 생성해 낼 수 있음을 예고했습니다. 게임 업계는 환호했습니다. 사람이 직접 조작하지 않는 비디오 게임 캐릭터(Non-Player Character, NPC)에 적용하면 게임의 세계관과 완성도가 크게 확장될 것이기 때문이죠. NPC와 같은 생성형 행위자(generative agents)들이 소셜 미디어에서 활동을 시작한다면 어떨까요? AI 계정이 인간 이용자들과 댓글을 주고받고, 친구를 맺기 시작한다면, 그렇게 계정에 시간이 쌓여간다면? 우리는 인스타그램에서 왕래하는 이웃이 AI가 아닌지 어떻게 알아볼 수 있을까요? 최악의 경우, 누군가 이런 계정을 대규모로 생성해 조직적 사이버 불링이나 여론 선동을 시도할 가능성도 배제할 수 없습니다. 이름도 생소한 생성형 행위자. 최악의 시나리오를 이야기하는 게 섣불러 보일지 모르겠습니다. 하지만 메타의 CEO 마크 저커버그는 이미 지난해 4월, 생성형 행위자를 언급한 적이 있습니다. 메타의 주력 사업인 메타버스 경험을 항상 시켜줄 기술로 말이죠. 지난주, Zheng & Zhang의 계정이 해킹된 계정이라고 신고했을 때 ‘아무 문제가 없다’라는 답변을 받았습니다. Q&A 봇이 답변한 게 아닐지 의심스러울 만큼 순식간에 돌아온 답변이었습니다. 인간의 수공업형 범죄에도 속수무책인 온라인 공간은 앞으로 다가올 일들에 대해 준비가 된 걸까요? 📌 덧붙이는 글 🤖 아침: 생성형 행위자들이 활동하는 이른바 ‘합성 소셜 네트워크’는 이미 실존하는 서비스로 성큼 다가오는 중이죠. 봇이 인간 계정을 사칭하는 데 그치지 않고 행위자로서 전면에 나오는, 그리고 인간 이용자도 생성형 기술을 이용해 활동하는 일이 잦아지는 시대. 무엇이 진짜인지 알아보는 문제뿐만 아니라, 과연 ‘진짜’라는 것은 무엇인지를 고민해야 하는 시점 같습니다. 오늘 이야기 어떠셨나요? 여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.

AI 윤리 뉴스 브리프 2024년 2월 첫째 주 by. 🍊산디 1. 우리가 끝내야 하는 싸움 🦜지난 월요일 레터에서 소개드린 것처럼, 생성형 AI를 활용해 제작한 성착취물 제작 툴로 테일러 스위프트를 묘사한 이미지가 X에서 널리 퍼졌습니다. X가 포스트를 차단하기 전까지 걸린 시간은 17시간. 포스트는 4,500만 번 이상 조회되었습니다. 그렇게 테일러 스위프트는 X에서 검색되지 않도록 차단되어야 했습니다. MS는 이번 성착취물 제작에 활용된 생성형 AI 툴의 허점을 개선했다고 밝혔습니다. 미 상원은 관련 입법을 서두르는 모습입니다. 하지만 성착취물의 유통이 잠잠해졌을 뿐, 문제가 해결된 것은 아닙니다. 그리고 이러한 조치가 과연 디지털 성폭력을 잠재울 것이라 낙관하기도 어렵습니다. 테일러 스위프트 이전에도 그리고 지금도 딥페이크 기술의 ‘혁신’과 이를 이용해 여성을 ‘비인간화’한 사례는 숱하게 많았습니다. 반복되는 디지털 성폭력으로부터 여성들은 스스로를 지켜왔습니다. 기술과 법만으로는 결코 이 문제를 해결할 수 없습니다. 이 싸움은 우리가 끝내야 하는 싸움입니다. 2. AI: 당신은 사망했습니다. 살아있음을 증명하세요. AI의 쓸모에 대한 광범위한 공감대가 형성되면서 AI 행정 역시 주목받고 있습니다. 하지만 AI는 자주 틀립니다. 인도 하리아나 주정부는 노인 수당 지급 수령자를 판단하기 위해 알고리즘 시스템을 도입하였습니다. 그리고 이 알고리즘은 수 천 명의 살아있는 사람을 ‘사망’했다고 판단했습니다. 피해자들은 수 차례 관료를 찾아가 자신이 ‘살아 있음’을 증명해야 했죠. AI 행정의 피해 사례는 숱하게 발견됨에도 불구하고 개인이 이에 대응하기는 쉽지 않습니다. 일례로, 잉글랜드와 웨일즈의 법체계는 반증되지 않는 한 컴퓨터의 판단이 법적으로 신뢰할 수 있다고 판단합니다. 즉, 문제를 제기하는 사람이 알고리즘의 오류를 입증해야 하는 것이죠. 관료제 등장 이후 관료의 ‘영혼 없음’은 그것의 최대 장점이자 단점이었습니다. 하지만 AI가 행정 곳곳에 도입되기 시작했을 때, 행정 서비스를 이용하는 우리는 관료의 판단과 비판적 인식에 의지할 수밖에 없을 거예요. AI 시대 행정의 기능과 책임은 무엇이 되어야 할까요? 3. 열린 오픈AI 닫힘 오픈AI가 설립 단계부터 투명성을 강조해왔음은 잘 알려진 사실입니다. 빅테크에게 지나치게 많은 권력이 집중되어 있다는 이유에서였지요. 멀지 않았던 그 때엔 누구든지 오픈AI에게 재무제표, 이해상충 규칙 등을 요청할 수 있었습니다. 사업은 (비즈니스 측면에서) 전지구적 성공을 거뒀고, 오픈AI는 단연 시장의 선두입니다. 그리고 투명성은 옛 이야기가 되어버렸습니다. 오픈AI는 내부 운영에 대한 문서를 제한적으로만 제공하는 것으로 기업 정책을 변경했습니다. 이제 이용자는 오픈AI가 어디에 투자하고 있으며, 누구와 협력 관계에 있는지 알 수 없게 되었습니다. 오픈AI가 스리슬쩍 폐쇄적인 벽을 쌓아 올리는 무책임한 태도에 투자사와 협력 기관들은 쾌재를 부르며 기뻐할지 모르겠습니다. 이제 오픈AI는 좀 더 ‘자유롭게’ 사업할 수 있을 겁니다. 닫힌 오픈AI를 감독할 수 있는 방법은 무엇일까요. 우리에게는 어떤 투명성이 필요할까요? 4. 미국과 미국 중에 고르기 AI 모델 뿐만 아니라 AI 개발에 필요한 기술 인프라를 소수의 빅테크가 장악하고 있는 것에 대한 정책적 우려가 커지고 있습니다. EU 집행위원회 부위원장 마르그레테 베스타게르는 최근 인터뷰에서 선택지가 ‘미국 또는 미국’으로 제한되어서는 안 된다고 밝혔습니다. MS의 오픈AI 지분 인수, 그리고 지난 오픈AI 드라마를 통해 드러난 MS와 오픈AI의 ‘긴밀한’ 관계로 인해 유럽뿐만 아니라 미국의 반독점 기구도 바빠졌습니다. 미국 FTC는 기업들 간 투자 및 파트너십에 대해 광범위한 조사를 진행 중이고, 영국 CMA 역시 MS와 오픈AI의 파트너십의 위험성에 대해 의견을 구하고 있습니다. AI 빅테크에 대한 반독점 규제가 어떤 ‘성과’로 이어지고 있는지에 대해 회의적인 목소리도 들립니다. 하지만 외부 기관들의 감독과 기업의 준법활동은 혁신 생태계의 유지를 위해 반드시 필요합니다. 독점은 소비자 후생 저해, 정치 권력과의 결탁 등 부작용이 발생하기 쉽기 때문입니다. 5. 탄광의 카나리아: 글로벌 데이터 하청과 노동조합 AI는 전지구적 하청 구조를 통해 개발됩니다. AI ‘학습’을 위해 기업은 데이터 라벨링 업무를 특정 기업 또는 크라우드 소싱 플랫폼에 하청을 주는 형태이죠. 이러한 형태의 ‘마이크로 노동’을 수행하는 노동자는 극도로 불안정한 상태에 처하게 됩니다. 구글은 아펜(Appen)이라는 호주의 크라우드 소싱 기업과 맺었던 하청 계약을 갑작스럽게 종료했습니다. 아펜의 노동자들은 구글의 생성형 AI 서비스 바드의 안전성을 높이는 데 기여해왔습니다. 하지만 구글의 계약 종료 통보로 2천여 명의 노동자의 삶이 흔들리게 되었습니다. AI를 도입하는 기업과 AI를 개발하는 기업 모두 ‘우선순위 조정’을 이유로 대량 해고를 밀어 붙이고 있습니다. 와중에 알파벳의 노조 AWU(Alphabet Workers Union)의 계약 해지 비판이 눈에 띕니다. 이들은 글로벌 데이터 하청 기업의 불안정 노동자를 해고하는 것이 탄광의 카나리아와 같다고 소리 높입니다. 우리에게 길항권력이 없다면, AI가 약속하는 생산성은 우리를 위한 것이 아닙니다. 오늘 이야기 어떠셨나요? 여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.

가깝고도 먼 AI와 AI 윤리 by. 🤔어쪈 AI 윤리는 AI와 떼려야 뗄 수 없는 관계입니다. 너무도 당연한 말로 글을 여는 이유는 둘 사이의 거리를 주제삼아 이야기해보고 싶기 때문이에요. ‘AI 윤리 레터’에서조차 정의한 적이 없을 정도로 AI 윤리는 무어라 명확히 개념잡기 어려운 단어입니다. 그래서 저는 종종 다른 곳에서부터 표현을 빌려오곤 합니다. 과학기술의 윤리적·법적·사회적 함의와 영향에 대한 연구를 의미하는 ELSI(Ethical, Legal, and Social Implications)가 바로 그것입니다. ELSI는 1990년대 인간 게놈 프로젝트의 일환으로 시작된 연구과제에 기원을 두고 있습니다. 사람의 유전정보를 분석하고 이해할 수 있게 될 때 벌어질 일들에 대한 우려가 컸던 탓에, 인간 게놈 프로젝트에 투입되는 예산 중 일부를 ELSI에 배정한 것이죠. 대표적인 연구주제 몇가지를 살펴보면 다음과 같습니다: 보험, 채용, 사법, 교육 등의 영역에서의 공정한 유전정보 활용 방안 낙인 효과와 같은 특정 개인 및 집단에 대한 유전정보의 사회심리학적 영향 재생산권, 치료 및 진료권과 관련 의사결정에 미치는 파급력 이후 ELSI는 미국의 나노기술 이니셔티브에서 한 분과를 차지하는 등 인간 게놈 프로젝트 이후에도, 또 생명윤리 외 분야에서도 자리를 잡았습니다. 최신 과학기술의 연구개발에 사회적 가치를 반영하고, 더 나아가 관련 정책 설계에도 상당한 기여를 했다는 평가를 받고 있죠. 최근에는 RRI(Responsible Research and Innovation)라고 불리는 보다 사회에 책임있는 방식으로 연구개발을 수행하기 위한 방법론적 프레임워크로 이어지고 있습니다. 이처럼 좋은 취지하에 유의미한 성과를 낸 연구 분야지만, ELSI에도 숱한 비판이 있었습니다. 무엇보다 가장 큰 문제는 ELSI가 결국 인간 게놈 프로젝트와 같은 특정 분야의 과학기술 이니셔티브에 종속된 과제였다는 점입니다. ELSI 연구자들이 프로젝트에 속한 다른 사람들과 같은 입장이 되어 비판적 사고나 적극적 대안 제시 보다는 기술 개발의 정당화에 기여했다는 것이죠. 이를 두고 인문학과 사회과학이 ELSI-화 (ELSI-fication) 되었다는 표현까지 등장했습니다. ELSI를 둘러싼 논의는 AI 윤리 레터를 비롯한 AI 윤리라는 범주 아래 이뤄지는 여러 활동에도 시사하는 바가 큽니다. AI 윤리는 AI 기술 개발에 보다 적극적이고 비판적으로 개입할 필요가 있습니다. AI 윤리가 하나의 분야로 자리잡기 시작하면서 기술 개발 주체가 ‘AI 윤리 전문가’에게 관련 문제 해결의 책임을 전가하는 것을 종종 볼 수 있습니다. 하지만 AI 윤리는 단순히 AI 기술이 야기하는 윤리적·법적·사회적 문제들이 발생한 후에야 연락을 받고 도착해 해결책을 제시하는 뒷처리 담당반이 아닙니다. 한편 AI 윤리라는 이름 아래 기술의 발전 방향과 이를 주도하는 기업들의 주장을 비판하는 대신 수용하고, 나아가 AI 하이프를 더욱 부풀리는 경우 역시 어렵지 않게 찾아볼 수 있습니다. AI 윤리 레터에서 다룬 바 있는 ‘AI 하이프 뉴스 체크리스트’를 기억하시나요? 누군가가 AI 윤리 전문가를 자청하며 AI 하이프 뉴스를 퍼나르고 있다면, 한번쯤은 그의 ‘AI 윤리’를 의심할 필요가 있습니다. 다시 처음으로 돌아가 AI 윤리와 AI는 떼려야 뗄 수 없는 관계라는 말을 살펴봅시다. AI 윤리와 AI 사이엔 너무 멀지도 않고 너무 가깝지도 않은 적당한 거리가 필요합니다. AI에 대한 AI 윤리의 개입과 거리두기는 동시에 이뤄져야 합니다. AI 윤리는 AI를 위한 것이 아니니까요. 🦜같이 읽어도 좋을 글 찾아라! AI HYPE 뉴스 (2023-07-17) AI 적정작명기술 (2023-07-24) AI가 당신의 글을 좋은 데 쓸 거예요.  by. 🎶소소 AI 윤리 레터의 글을 AI 학습 데이터로 판매한다면 얼마가 적당할까요? 아, 온라인에 공개된 글이므로 이미 AI 학습에 활용되었는지도 모르겠네요. 최근 저는 AI 기업이 저작물을 대하는 태도가 점점 뻔뻔해지고 있다고 느낍니다. 지난 브리프의 '뉴욕타임스 소송에 대한 오픈AI 입장문’ 이야기입니다. 그래서 오늘 레터에서는 오픈AI가 입장문에서 주장하는 바가 합당한지 조금 더 살펴보았습니다. 이 소송의 결과가 AI 업계와 창작자 생태계에 미칠 영향력이 작지 않아 보이기 때문입니다. 앞으로 저작권자와 AI 사업자가 어떻게 공생할 수 있을 지 고민이 깊어집니다. 오픈AI의 주장은 전 세계의 저작권자와 AI 기업의 논쟁을 고스란히 보여줍니다. 1. 우리는 전 세계 사람들을 위한 AI를 만든다. AI 학습은 공정 이용이다. 저작권법에서의 공정 이용은 특정 조건에서 저작권이 있는 자료를 저작권자의 허가 없이도 사용할 수 있게 해줍니다. 일반적으로 문화 및 관련 산업의 발전을 위한 비평, 뉴스 보도, 교육, 학술 연구 등의 목적을 위한 것입니다. AI 학습의 공정 이용 여부에 대해서는 다양한 의견 대립이 있으며, 아직 직접적으로 판단한 국내외 법원의 판례는 없습니다. 오픈AI는 AI 훈련이 공정 이용에 해당한다고 주장합니다. AI에게 인간의 언어를 가르쳐 일상의 삶을 이롭게 한다는 점에서 공정 이용 취지에 해당한다는 겁니다. AI는 저작물을 복제하는 것이 아니라 단어 빈도수, 구문 패턴 등 통계적 정보를 새로운 형태로 변환한다는 점 역시 참작해야 한다고 합니다. 뉴욕타임스는 AI 기업이 저작권자의 허가나 대가 지급 없이 언론사의 자산인 저작물을 활용하고, 대체품을 생산하여 이익을 취하고 있기 때문에 어떤 기준으로도 공정 이용이 아니라고 반박하고 있습니다. 한편, 오픈AI의 서비스 약관은 챗GPT의 생성물로 다른 모델을 학습시키는 것을 금지합니다. 타인의 저작물을 AI 학습에 쓰는 것은 공정이용이라고 주장하면서, 자신의 AI 생성물을 다른 회사의 AI를 학습시키는 것은 사용하는 것은 막는 꼴입니다. 내로남불이랄까요. 2. 뉴욕타임스 사례는 드물게 발생한 오류이며, 심지어 의도적인 오용의 결과다. 뉴욕타임스가 소송에 제출한 챗GPT 응답은 거의 기사 원문을 복사한 것처럼 유사합니다. AI 모델이 학습한 원데이터를 그대로 뱉어내는 ‘역류(Regurgitation)’ 현상 때문이라고 하는데요. 아마 사람이 ‘표절’한 기사를 자신이 쓴 것처럼 돈을 받고 팔았다면 단번에 저작권 침해가 되었을 겁니다. 오픈AI는 이 현상은 의도하지 않은 ‘기술적 오류’라고 설명합니다. 이러한 오류의 발생 가능성은 매우 낮으며, 이미 최소화했다고 주장합니다. 하지만 원데이터의 표절에 가까운 생성물이 얼마나 자주, 어떤 상황에서 발생하는 지에 대한 질문에 직접적으로 대답하지는 않았습니다. 또한 오픈AI는 뉴욕타임스가 주장하는 저작권 침해가 챗GPT를 악용했기 때문이라고 주장합니다. 뉴욕타임스가 기사의 원문 노출을 유도하는 프롬프트 입력해 챗GPT가 기사를 그대로 인용하도록 했기 때문이라고요. 그런데 만약 뉴욕타임스가 특정 상황에서 문제 가능성을 찾았다면, 일반 사용자도 동일한 상황에서 문제를 만들 수 있는 것 아닌가요? 때로는 오류의 발견이 시스템의 결함을 찾고 고칠 수 있는 계기가 됩니다. IT 기업은 시스템 오류를 찾기 위해 의도적인 Red teaming 을 진행하기도 하죠. 그런데 오픈AI는 시스템의 오류를 사용자의 오용으로 치부하며 책임을 돌리는 것으로 보입니다. AI 기업의 저작물 무단 사용 소송이 줄을 잇고 있지만 아직 저작권자의 손을 들어준 판결은 없었습니다. 이 소송에서 오픈AI가 승소한다면, AI 모델 학습이 공정 이용으로 법적 지지를 얻게 된다고 볼 수 있습니다. 긍정적으로 본다면, AI 연구자나 기업은 법적 문제 없이 좋은 데이터를 확보하고 더 좋은 성능의 AI를 만들 기회가 될 것입니다. 한편 저작권자의 입지는 점점 더 좁아지겠죠. 지난해 말 우리나라 문화체육관광부에서는 저작권자의 권리를 강조하는 취지의 “생성형 AI 저작권 안내서”를 발간했습니다. 안내서는 저작권자와 생성형AI 사업자가 유의해야 할 사항에 대해 다룹니다. 그러나 주요 쟁점인 ‘저작물의 AI 학습 활용’에 대해서는 기존 저작권법을 읊는 정도로 서술합니다. 도리어 국내 AI 기업의 발전을 막는 족쇄가 된다는 우려만 일으키고 있습니다. 정부가 AI 기술의 건전한 혁신을 지원하고 저작권자의 권리를 보호하는 방안을 모색하기까지는 시간이 좀 더 필요해보입니다 🦜같이 읽어도 좋을 글 한 명의 사임과 한 명의 퇴출 그리고 복귀? (2023-11-20) 창작자 생태계 상상하기: 스태빌리티 AI 집단소송 기각에 부치는 글 (2023-11-15) 오늘 이야기 어떠셨나요? 여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.

AI 윤리 뉴스 브리프 2024년 1월 다섯째 주 by.🤖아침 1. 생성 AI 선거는 이미 시작했다 조 바이든 미국 대통령의 목소리를 모방한 로보콜(ARS 전화)이 미국 뉴햄프셔주 유권자들에게 민주당 예비선거에 참여하지 말라는 메시지를 전달해, 주 검찰이 수사에 나섰습니다. 미국의 한 스타트업은 민주당 경선 후보 딘 필립스의 말투를 모방한 챗봇을 오픈AI API로 개발하다가 오픈AI로부터 계정을 차단당했습니다. 올해 전 세계 76개국에서 선거가 시행됩니다. 생성AI 붐 이후 민주주의 절차가 마주한 가장 큰 시험대입니다. 우리는 AI를 활용한 오정보에 어떻게 대응해야 할까요? 사진: Element5 Digital / Unsplash 2. 성착취물 + 저작권 침해 = 생성 AI 산업의 악몽 성착취 이미지를 생성해 공유하는 텔레그램 커뮤니티에 테일러 스위프트를 묘사한 이미지가 등장했고, 이 이미지가 트위터에서 널리 퍼졌습니다. 뉴욕타임스는 챗지피티가 저작물인 기사 내용을 그대로 뱉는다며 오픈AI에 소송을 제기했는데요. 최근 보도에서는 이미지 생성 툴 미드저니를 이용해 만든 조커, 마리오 등 명백한 저작권 침해 사례를 선보였습니다. 성착취물 등에 의한 인격권 침해와 유명 캐릭터 등의 지식재산권 침해는 생성 AI 기술의 현존하는 해악이자, AI 업계가 지닌 막대한 리스크입니다. 업체들은 서비스 이용약관, 입/출력단에서의 필터링 등으로 대응하고 있지만 근본적인 해결책이 될 것 같지는 않습니다. 3. AI 교과서는 우리 아이 데이터 채굴기? 교육부가 속도 내어 추진하는 AI 디지털 교과서. 2025년부터 도입 예정입니다. 이 시스템을 이용해 학생이 배우고 교사가 지도한 기록은 교과서 출판사, 에듀테크 업체 등 사교육 업체에 제공될 예정입니다. 참여 업체 입장에서는 학생과 교육 활동에 관한 귀한 자료를 손쉽게 얻는 셈인데요. 과정의 투명성, 이해관계자 참여 측면에서는 매우 미흡해 보입니다. 국민일보 기사 인용입니다. “학생과 학부모, 교사들의 의견 수렴은 아예 건너 뛴 상태다. 교육부 관계자는 ‘(학기 초) 학생·학부모 동의 절차는 있을 것’이라며 ‘동의하지 않는 학생 수업을 어떻게 할지는 검토해보지 않았다’고 말했다.” 그림: Clarote & AI4Media / Better Images of AI / User/Chimera / CC-BY 4.0 4. AI 번역/첨삭기 사용 금지, 이유는 데이터 유출 해외 대형 출판사들이 판권 계약시 “AI 번역 금지”를 요구한다는 보도입니다. 명목은 ‘오역 방지’지만, AI 번역기에 입력한 원문 데이터를 제삼자가 수집할까 우려한다는 관측이 설득력 있어 보입니다. AI 번역기를 실무에 활용하고 있는 번역가 및 업체 입장에서는 AI 번역 금지 요구가 생산성 제약으로 작용할 수 있습니다. 해외/국내 출판사, AI 번역 서비스, 번역가의 권익이 맞물려 한층 복잡해진 구도입니다. 논문 편집 보조/첨삭 서비스를 통해 미발표 원고가 AI 학습자료로 포획되기도 합니다. 작년 미국 국립보건원(NIH)은 기밀 유출을 우려하여 지원서/제안서 피어리뷰에 AI 사용을 금지했습니다. 5. 데이터 크롤링을 마다하지 않는 우익 매체들 영미권 언론매체 웹사이트에 AI 데이터 수집 거부 조치가 속속들이 시행되는 가운데, 유독 우익 매체는 크롤링 거부 설정을 하지 않는 경우가 많다고 합니다. LLM 학습데이터에 우파 성향을 강화하기 위한 음모일까요? 그렇다고 보기에는 그냥 거부 설정을 까먹고 안 한 경우도 있다고 해요. 지금부터 새로 수집되는 언어 데이터보다는 이미 존재하는 데이터가 아무래도 훨씬 많아서, 큰 영향을 준다고 보기 힘들다는 전문가 의견도 있고요. 하지만 데이터를 공개할 것인지 말 것인지, 웹사이트 크롤링 정책을 명시하는 robots.txt 파일은 콘텐츠 소유자에게 커다란 딜레마를 안겨주는 현장이 되었습니다. 경쟁사의 사이트맵을 베껴 AI로 유사한 컨텐츠를 만든 뒤 트래픽을 가로채는 “SEO 도둑질”을 당당하게 자랑하는 분위기 속에서는 더욱 그렇습니다. 6. 이스라엘군의 ‘대량 살인 공장’ 국제사법재판소가 이스라엘에 ‘집단학살 방지’를 명령한 지금, AI 시스템을 활용해 살상 표적을 선정하는 이스라엘의 “대량 살인 공장”을 상기할 필요가 있습니다. 이스라엘군이 사실상 가자 지구 전체를 전장으로 간주하는 상황에서, 표적을 추천하는 합소라(’복음’) 시스템은 폭격을 빠르게, 쉼 없이 지속하는 데 기여하는 ‘집단학살 AI 기술’입니다. 데이터 기반 폭격이라고 해서 정확한 것은 아닙니다. 이스라엘군 대변인이 가자 폭격의 초점은 “정확도보다 피해 규모”라고 한 데서 드러나듯, 지금 가자의 상황은 ‘정밀하고 국제법을 준수하는’ 기술이라는 명목에서 ‘산업적 규모로 살상을 효율화하는’ 기술로의 태세 전환을 드러낸다고 루시 수크만 교수는 지적합니다.  🦜함께 읽어도 좋을 내용 인공지능이 만드는 모두의 딥페이크 뉴욕타임스 소송에 대한 오픈AI 입장문 (2024-01-15) 이번 주 학급 분위기 평점 3.6점 (2023-06-05) 오픈AI: 빨간 휴지 줄까? 파란 휴지 줄까? (2023-10-11) 내년으로 들고 갈 질문 (2023-12-06) 오늘 이야기 어떠셨나요? 여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.

생성되는 현실 속 ‘공통감각’은? by. 🤖아침 이번 주 브리프에서는 ‘이 요청은 처리할 수 없습니다’ 따위의 제품명이 적힌 아마존 상품에 관한 이야기를 다뤘습니다. 인터넷 쇼핑과 같은 일상 영역에 AI 생성 콘텐츠가 이미 존재한다는 것을 상기시켜 주는 에피소드죠. 숏폼 영상에 사용되는 AI 성우, 생성 이미지 기반 서비스… 그 밖에도 사례는 많습니다. 생성하는 대상이 콘텐츠에 국한되는 것도 아닙니다. 다솔 님과 얘기하다 알게 된 재피(Zappy) 앱은 "찐친과 AI를 위한 메신저 및 SNS 앱"이라고 자칭하고 있는데요. 가상 인물이 피드에서 활동하고 그와 메시지를 주고받을 수도 있는, AI 챗봇과 버추얼 인플루언서가 결합한 듯한 제품입니다. 단순히 콘텐츠를 넘어 ‘관계’를 생성형으로 제공하는 시스템이자, 케이시 뉴턴 기자의 표현을 빌리면 기존에 인간 사이를 연결하던 곳에 AI가 함께 자리하는 “합성 소셜 네트워크”인 것입니다. 이런 흐름이 지속된다고 생각해 봅시다. ‘AI 친구’에 그칠 이유가 있을까요? 데이터와 연산 능력만 충분하다면 우리가 디지털 환경에서 접하는 모든 것을 생성할 수도 있겠죠. SNS의 보편화가 알고리즘에 의한 현실 경험의 ‘큐레이션’과 밀접했듯이, 추천 시스템과 결합한 생성 AI가 편재하는 시나리오에서 누군가의 현실 경험 전체가 초-개인화된 형태로 ‘합성’되는 모습도 그려집니다. 잠시 데이터, GPU, 전력소모 등의 물리적 제약을 잊어버린다면, 미리 생성해 둔 콘텐츠-현실을 서비스하는 것이 아니라 사용자 단에서 실시간으로 개인 맞춤형 현실이 합성될 수도 있겠죠. 듣는 시점에 선호하는 톤과 내용으로 생성되는 목소리, 스트리밍 시점에 좋아하는 줄거리와 연출로 생성되는 영화, 읽는 시점에 좋아하는 문체와 소식으로 생성되는 뉴스 기사. 최근 화제를 끈 상품인 핸드헬드 LLM 단말기 래빗 R1이나 바디캠 형태의 AI 핀, 스마트폰 제조사들이 힘쓰고 있는 온디바이스 AI, 비전 프로를 위시한 각종 XR 단말기 등의 사례를 떠올려볼까요. 이들 제품은 AI 기술과 신체의 인터페이싱을 더욱 긴밀하게 하여, 자동화 시스템이 필터링하고 나아가 생성하는 초개인화된 현실 경험, 이름 붙여 보자면 ‘온디맨드 현실’을 가리키는 이정표인 셈입니다. 물론 물리적 제약을 무시할 수는 없습니다. 이 길을 따라갔을 때 우리가 마주할 생성-현실-미래는 사전 생성과 실시간 생성, 추천이 적당히 조합된 무엇이겠죠. 여기에서 강조하고 싶은 것은 생성된 경험을 활용해 더욱 강력한 개인화를 추구하는 기술 산업의 추세입니다. 그 생성의 규칙을 좌우하는 것은 주로 시스템을 보유한 기업일 테고요. 지난 이십 년간 스마트폰과 소셜미디어를 사용하며 우리가 배운 것 하나는 추천시스템이라는 개인화의 엔진과 사회의 극화/분화, 나아가 ‘탈진실’ 사이의 밀접한 관계였습니다. 그렇다면 AI를 활용한 개인화 추세는 우리가 보아온 사회 분화 현상을 더욱 가속하지 않을까요? 생성 AI에 의존하는 경험은 “대상 세계와 타자에 대한 ‘공통감각(sensus communis)’을 퇴화시킨다” - 이광석 교수의 경고입니다. 우리가 함께 세계를 구성해 가는 사회적 존재라고 할 때, 우리의 존재는 어떤 공통의 경험, 사회적인 그 무엇에 대한 공유를 필요로 할 것입니다. 현실이 어떤 것이라고 어느 정도는 합의할 수 있어야 그에 기반한 논의건 행동이건 가능할 테니까요. 탈진실 경향이 민주사회에 위협적인 것도 사회적인 합의를 가능케 하는, 현실에 대한 공통 인식을 훼손하기 때문이죠. 특히 전 세계적으로 중요한 선거가 몰린 올해, 자동 생성 기술과 ‘사회적인 것’의 관계는 더욱 시급한 문제로 다가옵니다. 미국에서 이미 AI로 조 바이든 대통령의 목소리를 흉내낸 로보콜이 민주당원들에게 예비선거 불참을 독려하는 사례가 발견되었습니다. 선거운동에 딥페이크 콘텐츠를 금지한 한국 공직선거법 개정안은 이런 현상을 막는 데 충분한 조치일까요? 우리가 어떤 AI 기술을 만들고, 기술과 어떤 관계를 맺어야 할지 더욱 깊은 고민이 필요해 보입니다. 23세기를 묻는 젤리 한 알 : <라스트 젤리 샷> by. 🍊산디 때는 바야흐로 AI 기술이 무르익은 23세기. AI의 위험에 대응하기 위해 조직된 윤리 위원회가 오늘도 열심히 일합니다. 윤리 위원회는 윤리원칙을 어긴 AI 로봇을 재판에 회부하여 문제가 된 AI를 제거하고, 해당 AI의 개발자의 자격 박탈 여부를 묻는 소송을 제기할 수 있습니다. 소설 속에서 세간의 이목은 천재 과학자 갈라테아와 그가 제작한 세 AI 로봇에게 쏠려있습니다. 그의 세 로봇이 다분히 의도적으로 인간에게 해를 입혔기 때문이죠. 그렇게 윤리 위원회와 갈라테아의 법정 드라마가 펼쳐지는데… 2023 한국과학문학상 장편 대상에 빛나는, 청예 작가님의 <라스트 젤리 샷> 이야기입니다. 소설 속에서 윤리 위원회는 막대한 인명피해를 초래한 무인 항공기 사고를 무마해준 것을 계기로 권력을 쥐게 됩니다. 윤리 위원회가 큰 권한을 갖는 세계라니. 21세기를 살아가는 윤리 담당자들의 처지를 생각한다면 이것이야말로 SF일지 모르겠어요. 오늘날 AI 윤리 담당자들이 과로와 번아웃, 해고는 잘 알려진 사실이죠. 윤리 위원회의 법정은 공명정대한 AI 천칭에 의해 판결이 이루어집니다. AI 천칭은 윤리 위원회가 수립한 윤리강령에 따라 잘잘못을 가립니다. 그런데 윤리강령의 내용이 좀... 독특합니다. 윤리강령에 따르면 AI 로봇, 즉 ‘인봇’은 다음의 세 가지를 지켜야 합니다. 인봇은 사람의 통제가 가능해야 한다. 인봇은 주입하지 않은 감정을 느껴서는 안 된다. 인봇은 스스로 자아를 생성해서는 안 된다. <라스트 젤리 샷>의 윤리강령은 아이작 아시모프의 로봇 3원칙이나 플로리디의 인포스피어 윤리 원칙 등과 비교하면, 뭐랄까요, 인간의 ‘고유성’을 지키기 위한 욕망에 가깝습니다. 작가가 생각한, 인간이 고집하는 자신의 정체성이 담겨있죠. 소설 속 윤리 위원회는 인간이 되고 싶어서 선을 넘는 AI 로봇을 처벌하는 기구인 셈입니다. 아쉽게도 작가는 23세기의 AI 윤리강령이 어떤 과정을 거쳐 만들어졌는지 다루지 않습니다. 기술 윤리를 논하는 입장에서는 이게 더 궁금한데 말이죠. 다만 확신할 수 있는 건 23세기의 AI 윤리강령은 21세기의 AI 윤리강령에서 출발했을 거라는 사실입니다. 어떤 기술도 ‘본질적으로’ 특정 사회적 조건을 요구하지는 않습니다. 하지만 랭던 위너가 이야기한 것처럼 일단 기술에 대한 수용이 시작되면, 예를 들어 원자력 발전소가 지어지고 가동되면, 기술의 요구에 사회가 적응해야 한다는 주장들이 “봄날 꽃봉오리처럼 터져 나오기 시작”합니다. 그러니 어떤 기술을 어떻게 받아들일까 하는 최초의 논의가 중요합니다. 아직 중요한 변화가 일어나지 않은 상태이기 때문이죠. 기술이 제시한 여러 대안들 중 하나를 우리가 고른다면, 기술은 그 선택을 따라 우리를 다른 갈림길로 인도할 겁니다. 우리는 매번 최선을 다해 하나의 선택지를 고를 것이고, 그 분화의 끝은 우리가 처음 서 있었던 그 곳에서 한참 떨어진 곳으로 이어질 거예요. 이러한 까닭에 23세기보다 21세기가 더 중요합니다. 21세기를 사는 우리가 윤리를 저울질하는 천칭의 어느 편에 젤리를 올려 둘 것인지가 23세기를 결정하기 때문이죠. 하지만 이 기술의 목적지가 어떤 곳이어야 하는지에 대한 논의는 매우 드뭅니다. 혹자는 AI가 기술 혁명을 이끌 것이라 말합니다. 하지만 진실로 기술 혁명을 이끌고 있는 것은 혁명의 목적지를 묻지 않는 “텅 빈 마음”일지도 모릅니다. 지금-여기를 사는 여러분의 저울은 어느 쪽으로 기울어 있나요? 여러분이 생각하는 기술 혁명의 목적지는 어떤 모습인지요? 오늘 이야기 어떠셨나요? 여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.

2024년 1월 넷째 주 AI 윤리 뉴스 브리프 by.🌎다솔 1. 내 일자리 뺏어가는 AI? (링크) 전 세계적으로 AI의 급속한 발전으로 인해 해고가 증가하고 있으며, 이러한 현상이 기술 분야에 국한되지 않고 다른 산업 분야로도 확산하고 있습니다. AI의 사용이 늘어났기 때문에 사람들은 일자리를 잃고 있는 것일까요? 아니면 모든 책임을 AI에 돌리려는 기업의 이기적인 태도일까요? 구글은 지난해 전체 직원의 약 6%에 해당하는 12,000명을 해고했으며, 올해 초에도 추가 인원 감축을 실시했습니다. 또한, 미국 금융그룹 시티는 기술 분야 지출 증가와 자동화로 인한 업무 효율성 개선을 이유로 향후 3년간 20,000명을 해고할 계획임을 발표했습니다. AI 도입으로 일터가 원활하게 돌아가기 위해서 직원의 연결 노동이 필요해지고 있으나, 이런 노동은 종종 가치를 인정받지 못합니다. 또한, 플랫폼 노동과 관련된 법적 지위나 노동조건 규제의 부재와 같은 오래된 문제들도 주목해야 합니다. 이러한 문제들은 기술로 해결될 수 없으며 정책적 접근이 필요합니다. 🦜함께 읽어도 좋을 지난 소식 이 주의 노동 카드: 생성 AI 시대 바람직한 노사관계 (2023.07.10.) 2. 아마존에 '이 요청은 처리할 수 없습니다.'라는 제품 등장 (링크) 아마존은 대형 언어 모델을 사용하여 제품명이나 설명을 생성하는 것을 금지하지 않으며, 작년 9월에는 아마존 판매자들이 제품 설명과 제목을 만들 수 있도록 하는 자체 생성 AI 도구를 출시했습니다. 몇몇 아마존 제품에는 AI가 생성한 것으로 보이는 오류 메시지인 '이 요청은 처리할 수 없습니다.'가 포함되어 있으며, 이는 아마존 상에 스팸성 제품 목록을 올리면서 기본적인 편집조차 하지 않고 있다는 것을 보여줍니다. 아마존 외에도 X, Threads, 링크드인 등에서 AI가 생성한 것으로 보이는 글을 쉽게 찾아볼 수 있습니다. 이러한 AI 생성 콘텐츠의 홍수는 아마존 전자책 마켓플레이스에 이르기까지 모든 플랫폼에 영향을 미치고 있으며, 이 문제는 더 악화할 것으로 보입니다. 3. 모르면 모른다고 답하는 AI (링크) 구글 연구진은 LLM(대규모 언어모델) 답변의 정확도를 확률로 나타내는 신뢰도 점수를 출력하는 어스파이어를 개발했습니다.  어스파이어는 LLM이 생성한 답변이 올바른지 평가하도록 학습시킵니다. 어스파이어를 사용하면 LLM이 해당 답변에 대한 신뢰도 점수와 함께 답변을 출력할 수 있습니다. 구글 연구진은 "어스파이어는 추측보다 정직을 장려함으로써, AI 상호 작용을 더 신뢰할 수 있게 만드는 것이 목표"라고 밝혔는데요. 무조건 AI에 의존하기보다 사람이 정확한 정보를 구분할 수 있는 능력이 더욱 중요해질 것 같습니다.  🦜댓글 🤔어쪈: 구글의 연구 소개 블로그 글을 살펴보니, 어스파이어는 기존 대규모 언어모델(LLM)이 생성한 답변을 자체 평가하도록 만든 연구를 참고해 정확도 평가 작업을 위한 추가 튜닝을 거친 것으로 보입니다. 하지만 결국 LLM의 평가에 의존하는 기법이기 때문에 한계 역시 분명할 것 같아요. 4. 군사 및 전쟁 용도로 AI를 사용할 수 있을까요? (링크) 오픈AI는 기존의 군사용 AI 제공 금지 정책에서 '군사 및 전쟁' 용도로 AI 사용을 금지하는 내용을 제거했습니다. 다만 AI를 무기 개발, 재산 피해, 인명 피해 등에 사용하는 것은 여전히 금지하고 있습니다. 오픈AI는 미국 국방부와 협력하여 오픈소스 사이버보안 소프트웨어 개발에 참여하고 있습니다. 또한, 전역 군인 자살 방지 방법에 대해서도 미국 국방부와 초기 논의를 시작했습니다. 오픈AI는 생성 AI가 정치적 정보 왜곡에 사용되지 않도록 선거 보안 작업에 속도를 높이고 있습니다. 앞으로 오픈AI 기술의 발전이 사회적, 정치적으로 어떤 영향을 미치게 될까요? 5. AI로 생성한 얼굴 사진 구분 가능한가요? (링크) 여러분은 AI로 생성한 얼굴 사진과 실제 얼굴 사진을 구분하실 수 있나요? 다음 링크에 접속하시면 테스트하실 수 있습니다. 특히 백인 얼굴에 대해 AI로 생성한 얼굴 사진이 실제 사람의 얼굴 사진보다 더 실물 같게 인식되는 현상이 나타났습니다. 주로 백인 이미지를 AI 학습 데이터로 사용하기 때문에 발생하는 것으로 보입니다. 호주국립대학교의 에이미 다웰 박사의 연구에서는 AI로 생성된 얼굴과 실제 얼굴을 구분할 때 참가자들의 자신감이 높을수록 실수할 가능성이 높다는 점도 밝혀졌습니다.  기술 발달로 인한 이러한 혼란에 대처하기 위해서는 인터넷상의 판단 시 지나친 자신감에 의존하기보다는 신중한 접근이 필요합니다. 자기 자신에게 엄격한 태도가 가장 안전한 방법이 될 수 있습니다. 6. 네이버 AI 혐오 Q&A (링크) 네이버의 AI 서비스가 민주노총에 대해 사실과 다른 내용을 노출했고, 전장연(전국장애인차별철폐연대)에 대한 검색 결과에서도 혐오 표현을 포함한 정보를 노출했습니다. 민주노총 관계자 A 씨가 네이버에 허위 사실과 명예훼손 표현의 시정을 요구했으나, 네이버는 ‘AI라서 결과를 수정할 수 없다’는 식의 입장을 보였습니다.  진보네트워크센터의 희우 활동가는 네이버의 사전 시정 부재를 지적하며, 네이버가 AI 생성 결과에 대한 책임을 져야 한다고 주장했습니다. 네이버는 언론 취재 이후에 민주노총과 전장연 관련 Q&A 섹션을 삭제하고, 이에 대한 자체 검토와 개선을 약속했습니다. 희우 활동가는 네이버의 조치가 임시방편이며, IT 기업들이 시스템을 개선하는데 책임감을 가져야 한다고 지적했습니다. AI 편견과 오류를 반영하는 문제에 대해 국내외에서 규제 도입 필요성이 제기되고 있으며, EU는 디지털서비스법(DSA)을 통해 알고리즘 투명성에 대한 책무를 규제하고 있습니다. 🦜캘린더 📅 FTC Tech Summit 미국 연방거래위원회 Office of Technology, 2024-01-26 새벽 (한국 시간 기준) 📅 AI MODELS 프로젝트 연구조교 모집 카 포스카리 베네치아 대학교 (연구책임자: 마테오 파스퀴넬리), 지원마감: 2024-02-29 오늘 이야기 어떠셨나요? 여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.

이 주의 독서 카드: <AI 윤리에 대한 모든 것> by. 🤔어쪈 다들 새해 계획 세우셨나요? 많은 사람들이 ‘올해는 꼭…’ 목록에 넣는 책 읽기, AI 윤리 레터와 함께 시작해보아요. 신년 첫 독서에 찰떡인 제목입니다. <AI 윤리에 대한 모든 것 (원제: AI Ethics)>. 작년에 나온 신간이에요. 그런데 책을 펼쳐보면… 앗, 첫 문장에 등장하는 AI가 챗GPT가 아닌 알파고군요. 그렇습니다. GPT-3가 나오기도 전 2020년 초 출간되어 3년이 지난 후에야 한글로 번역된 책이에요. 그 사이에 정말 많은 일이 있었죠. 하지만 몇 주만 지나도 읽을 필요가 없어지는, 그럼에도 불구하고 자꾸만 쏟아지는 흔한 AI 책과는 다릅니다. AI 윤리를 다룬 책이라서가 아닙니다. 제가 왜 그렇게 생각하는지 설명해볼게요. 1. AI 윤리는 이슈가 아니다 ❌ 제목과 목차만 훑으면 책이 다루는 주제와 서술 방식이 뻔해보이기도 합니다. 프라이버시, 투명성과 설명가능성, 편향 등과 같은 개념과 함께 각종 사건, 사고를 예시로 들지 않겠어요? … 아닙니다. 대신 저자는 최근 오픈AI와 같은 기업이 부르짖기 시작한 초지능(superintelligence)이라는 발상부터 검토하죠. 지금의 AI 발전 방향이 가리키는 초지능은 트랜스휴머니즘*의 초월이라는 열망과 맞닿아 있습니다. 이것이 인간-같은 AI를 개발하도록 만들어 인간과 AI 간 경쟁 서사를 실현한다고 지적합니다. 인간이 만들어낸 모든 데이터를 학습시켜 같은 데이터를 내뱉도록 함으로서 너무도 인간-같은 AI를 만들고 있는 지금의 우리가 귀기울일만한 이야기죠. 하지만 미래가 꼭 이런 서사로만 펼쳐질 필요는 없습니다. 인간-비인간 경계를 넘나드는 포스트휴머니즘**에서 영감을 받아 인간-같지 않은 AI를 개발하고, “AI와 경쟁하는 대신에 공동의 목표를 설정할 수” 도 있죠. (p.58) 저자는 AI 윤리를 이슈가 아닌 서사로 바라봐야 하는 이유를 제시합니다. 2. AI는 기술이 아니다 ⁉️ 책은 중반부에서야 AI 기술을 설명하기 시작합니다. 하지만 이름에서부터 인간의 특성임과 동시에 우리조차 온전히 이해하지 못하는 ‘지능’을 포함하는 한, AI를 단순히 기술로만 바라보거나 정의하긴 어렵죠. 실제로 현재 AI와 사실상 동일시되는 개념인 기계학습은 데이터과학과 통계학에 뿌리를 두고 있는데 둘 모두 인간이 세상을 이해하고 탐구하고자 만든 학문, 즉 과학입니다. 이제 AI가 어디에나 존재하는 세상이 되었습니다. AI 에이전트(agent)라는 표현이 더 이상 어색하지 않죠. 인간이 AI에게 행위주체성을 위임하는 게 만연해질 때, 과학으로서의 AI는 설 자리를 잃습니다. 어쩌면 역설적이게도 AI 윤리라는 범주의 모든 문제는 이 지점에서 발생하는 것일지도 모릅니다. 3. AI 윤리 레터가 필요하다😉 저자는 AI 윤리 논의가 결국 정책으로 이어져야 한다고 주장하며 책이 쓰여진 4년 전 진행중이던 논의를 소개합니다. 이제는 기업이나 공공기관 등 어디서든 보일만큼 흔한 ‘AI 윤리 원칙’을 세우기 위한 토론이 한창이던 때죠. 저자가 예상한대로 원칙에 대한 합의는 어렵지 않게 이뤄졌지만 정확히 무엇을 해야 하는지, 즉 방법과 운영의 문제는 여전히 남아있습니다. 책은 불확실성 속에서 AI 윤리가 책임 있는 혁신을 이끌기 위해서는 여러 이해관계자의 다양한 서사가 필요하다고 역설합니다. 윤리는 결코 기계처럼 작동하지 않는데 전문가들끼리만 맥락을 고려하지 않은 채로 원칙을 적용해선 안된다는 겁니다. 기업이 설파하는 지배적인 AI 서사를 그대로 받아들이지 말고, AI 윤리 레터를 읽으며 여러분만의 해석과 상상이 필요하다는 뜻이기도 하죠! +++  굉장히 오랜만에 쓰는 ‘이 주의 독서 카드’가 AI 윤리 레터 구독자 여러분의 책 읽고픈 마음을 자극했길 바랍니다. 같은 저자가 쓴 <인공지능은 왜 정치적일 수밖에 없는가 (원제: The Political Philosophy of AI)>도 궁금하지 않으신가요? AI 윤리 북클럽의 문은 언제나 열려있답니다. 함께 읽어요! 💬 용어 설명 (참고) * 트랜스휴머니즘 (trans-humanism): 인간이 가진 지적·신체적 능력의 한계를 (주로) 과학과 기술을 통해 뛰어넘고자 하는, 더 나아가 그래야 한다고 강조하는 담론 ** 포스트휴머니즘 (posthumanism): 인간-비인간의 경계 대신 관계와 상호작용에 주목함으로서 세상에 대한 인간중심적 이해를 넘어서고자 하는 담론 오늘 이야기 어떠셨나요? 여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.

빠띠를 통해 🦜AI 윤리 레터를 만나고 계시는 여러분, 안녕하세요. 기쁜 마음으로 새해 인사를 드립니다.  2024년 새해 복 많이 받으세요. 2024년에도 AI 윤리를 고민하는 뉴스레터는 계속됩니다.늘 그랬듯 여러분의 유머와 용기, 따뜻함으로 함께해주세요. 올해부터 🦜AI 윤리 레터가 빠띠 캠페인즈에도 연제됩니다. (이번주에는 어른의 사정으로 금요일에 두 건을 몰아쳐서 게시하지만) 뉴스레터가 발송된 다음날인 매주 화요일과 목요일, 캠페인즈에 멋진 글들이 올라올 계획이니, 캠페인즈도 뉴스레터도, 많은 관심 부탁드려요. 🙌 화요일에는 한 주의 AI 윤리 뉴스를 모아 브리핑합니다. 목요일에는 하나의 질문을 깊게 살펴봅니다.  그럼, 이제 올해의 첫 캠페인즈를 시작합니다. 2024년 1월 셋째 주 AI 윤리 뉴스 브리프 by. 🎶소소 1. 안중근이 ‘테러리스트’라는 AI (링크) 워싱턴대 최예진 교수가 AI의 도덕관 편향 문제를 지적했습니다. 현재의 AI는 서구의 가치관이 과도하게 반영되어 있어, 세계의 다양한 문화권을 이해하지 못한다는 것이죠. 예를 들면, 쌈을 싸 먹는 한국 문화에 대해 ‘손으로 밥을 먹는 미개한 문화’라거나, 안중근 의사가 ‘테러리스트’라고 답한다면 어떨까요? 다양한 문화를 이해하지 못하는 AI는 문화·인종 차별로 이어질 수 있습니다. 그래서 AI도 윤리 교육이 필요합니다. 교육을 위해서는 여러 문화권 사람들이 공통적으로 허용할 수 있는 가치관에 대한 논의가 선행되어야겠죠. 🦜덧붙이는 글 🤖아침: 최예진 교수는 본인과 네이버 ‘하이퍼클로바’ 팀의 협업을 좋은 AI 윤리 학습의 사례로 제시했는데요. 한편 네이버 검색의 클로바 AI 답변이 특정 시민단체에 관한 오정보 및 혐오표현을 노출한다는 편향 문제가 드러나기도 했습니다. AI 윤리는 한 번에 해결할 수 있는 과업이 아니라, 지속적으로 개선하려 노력해야 하는 지향점이라는 걸 보여줍니다. 🦜함께 읽어도 좋을 지난 소식 다양한 관점으로 생각하는 힘 (2023. 9. 27.) ‘윤리 데이터셋’ 들여다보기 (2023. 8. 28.) 2. 미드저니가 훔친 작품의 작가 명단(링크) 생성 AI 이미지 서비스 미드저니, 스태빌리티AI 등과 예술가 집단의 저작권 소송에 4,700여 명의 예술가 명단이 제출되었습니다. 이 명단은 미드저니가 동의 없이 데이터로 사용한 작품의 작가 명단입니다. 작가의 작품들은 동의 없이 데이터로 사용되었을 뿐만 아니라, 하나의 '스타일'로 취급되었습니다. 미드저니로 생성한 이미지가 저작권이 있는 원본과 거의 유사하다는 사실은 이미 여러 번 입증되었는데요. 이것은 우연이 아니었습니다. 미드저니는 소송도 감수할 생각으로 다양한 작가들의 작품을 AI 학습 데이터로 사용한 것으로 보입니다. 미드저니로 생성한 The Simpsons과 유사한 이미지. 출처: IEEE Spectrum 🦜함께 읽어도 좋을 지난 소식 생성 AI와 저작권, 정산은 본질이 아니다 (2023.07.10.) 이미지 생성기 산업이 예술가를 괴롭히는 법 (2023.10.11.) 창작자 생태계 상상하기: 스태빌리티 AI 집단소송 기각에 부치는 글 (2023.11.15.) 3. 뉴욕타임스 소송에 대한 오픈AI 입장문(링크) 오픈AI가 뉴욕타임스가 제기한 소송에 대한 입장을 밝혔습니다. 이 소송은 수백만 개의 뉴욕타임스 기사를 무단으로 AI 훈련에 사용했다는 내용인데요. 이에 대해 오픈AI는 인터넷상 자료를 AI 학습에 사용하는 것은 공정이용이며, 뉴욕타임스가 발견한 오류는 의도적으로 만들어 낸 비정상적 오류라라고 주장합니다. 이에 대한 전문가들의 지지와 반대 의견이 갈리는 이유는 AI가 학습 데이터를 기억하여 재생산하는 표절물이 얼마나 자주 나타나는지, 어떤 상황에서 발생하는지 정확히 알 수 없기 때문입니다. 진실은 오픈AI만 알 수 있겠죠. 저는 오픈AI가 이용자의 문제 제기를 ‘오용(misuse)’이라는 용어로 제한한다고 느꼈습니다. 앞으로는 어떤 문제 제기도 오용이라는 틀로 대응할 테니까요. 4. 콜센터 AI 도입과 상담 인력 감축(링크) KB국민은행이 콜센터에 AI를 도입하면서 상담 직원의 인력감축을 시작했습니다. 콜센터 문의가 줄었다는 이유입니다. 콜센터 문의는 왜 줄었을까요? 고객들은 콜센터에 도입된 AI가 불편하기 때문입니다. 특히 어르신들은 여러 번 시도 끝에 포기하거나, 어쩌다 상담원이 연결되면 ‘사람 맞냐’며 화를 내기 일쑤라고 합니다. 상담원을 돕기 위해 AI를 도입했는데, 그 때문에 상담원이 줄어 오히려 업무 난이도는 높아졌다고 하네요. AI로 인한 고용 시장의 변동은 한동안 이어질 것으로 보입니다. 5. 마이크로소프트와 오픈AI, EU 반독점법 조사 물망에(링크) 유럽위원회가 마이크로소프트와 오픈AI의 투자 관계가 사실상 합병 관계에 해당하는지에 대한 조사 의지를 내비쳤습니다. 영국도 지난달 두 기업의 파트너십에 대해 조사하기로 했다는 입장을 밝힌 바 있습니다. 이번 조사는 작년 오픈AI의 CEO 샘 올트먼의 해임과 복귀 소동 여파로 추정됩니다. 마이크로소프트가 오픈AI 경영에 개입하는 것으로 보였기 때문입니다. 사실상 합병 관계는 아닌지, 이것이 시장 경쟁에 영향을 미치는 반독점법 위반 소지는 없는지 보겠다는 것입니다. 소수의 AI 기업이 전 세계에 미치는 영향력에 대한 우려가 커지고 있습니다. 시장이 경쟁력을 유지하기 위해서는 소수의 기업이 시장을 독점하지 않는 것이 중요합니다. 6. 선거운동에 AI 콘텐츠 사용 전면 금지(링크) 공직선거법 개정으로 선거일 90일 전부터는 선거운동에 ‘실제와 구분하기 어렵게 만든 가상의 AI 딥페이크 콘텐츠’를 활용하는 것이 전면 금지되었습니다. 올해 4월 총선에서는 지난 대선에 등장했던 'AI 윤석열', 'AI 이재명'을 볼 수 없게 됐습니다. 선거 기간 딥페이크를 악용한 허위 정보가 확산될 수 있음을 우려한 것입니다. 전문가들과 이해당사자인 AI 업계도 규제 필요성에는 적극 공감했습니다. 그러나 개정된 선거법에 실효성이 있을지는 의문입니다. 이미지를 보정하는 포토샵에도 AI 기능이 활용되는데, 어디까지 위법인지에 대한 기준이 아직 명확하지 않은 실정입니다. 오늘 이야기 어떠셨나요? 여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.