by 🤖아침 KrIGF에서 “생성형 인공지능과 딥페이크 기술” 세션을 참관하고 왔습니다. 이미지나 음성 등을 조작해 디지털 매체 속 인물을 다른 사람의 모습으로 바꾸는 일련의 기술을 통칭하는 딥페이크에 관한 패널 토론이었어요. 산업적 효과에 대한 기대감, 악용에 대처하기 위한 제도적/정책적 제안 같은 이야기가 오갔는데요. 세부적인 내용을 다루기보단, 이날 논의가 깔고 있던 기본 전제에 관한 제 의문을 얘기해 보려 합니다. KrIGF 웹사이트에 등재된 세션 소개글을 인용합니다. 딥페이크 기술은 보다 쉽고 간편하게 특수효과를 만들어 내거나 AR 영상을 제작하는 등 산업 전반의 성장 가능성을 키우는 등 긍정적으로 작용하고 있는 부분이 분명히 있다. 그러나, 인공지능기술이 빠르게 발전하면서, 인공지능을 활용한 비윤리적 이용 등 부정적 측면에 대한 우려의 목소리가 커지고 있다. 딥페이크(를 만드는 데 사용되는) 기술은 긍정적 작용을 하지만, (음란물 제작, 인격 사칭 등) 부작용 또한 생기고 있다는 것입니다. 따라서 기술적/산업적 발전을 저해하지 않도록 기술 규제는 최소화하되, 딥페이크를 활용한 범죄를 억제하기 위한 사법적, 문화적 노력이 필요하다는 것이 이날 패널 토론의 전반적인 내용이었고요. 얼핏 보면 맞는 말 같습니다. 기술은 잘못이 없다, 사람이 잘 사용하는 것이 중요하다… 흔히 들을 수 있는 말이죠. 하지만 기술은 생각만큼 ‘중립적’이지 않습니다. 딥페이크의 출발점은 성착취물 ‘딥페이크’라는 말은 어디서 왔을까요? 이 용어가 등장한 것은 2017년경. deepfakes라는 닉네임을 사용하는 레딧 이용자가 동명의 게시판에 꾸준히 올린 영상이 화제가 되었습니다. 주로 여성 연예인의 얼굴을, 성적 촬영물에 등장하는 여성 신체에 합성한 것이었습니다. 가정용 컴퓨터와 인터넷에서 쉽게 구할 수 있는 영상으로 만들어낸 결과물이었죠. 딥페이크의 어원이 여성 이미지를 동의 없이 조작한 음란물 제작자라는 점, 그리고 그가 대단한 전문 연구기관이나 기업 조직이 아니라 개인이라는 점 모두 중요합니다. 딥페이크의 대중화는 성착취물로 시작했고, 이러한 기술적 성착취는 지나가는 해프닝으로 끝나지 않았습니다. 일례로 생성형 이미지 시장이 등장하며 AI로 만든 이미지뿐만 아니라 특정 그림체에 특화된 AI 모델을 제작하는 일을 금전적으로 보상하는 구조를 형성하고 있는데요. 이는 성착취물도 예외가 아닙니다. 즉 특정 인물의 딥페이크 성착취물 이미지 및 그것을 만들 수 있는 AI 모델이, 생성형 이미지 산업의 구성 요소로 자리 잡고 있는 것입니다. 또한 딥페이크 제작의 기술적 장벽은 갈수록 낮아집니다. 2017년의 deepfakes는 아마 고급 그래픽카드를 설치한 컴퓨터에서 직접 작성한 코드를 실행해 가며 연예인 딥페이크를 만들었을 겁니다. 그것만으로도 문턱이 굉장히 낮아진 것이었지만, 지금은 그럴 필요도 없습니다. 이미지 생성 서비스도 우후죽순 생겨나고, 손쉽게 다운받을 수 있는 맞춤형 AI 모델, 그것을 몇 번의 클릭으로 실행할 수 있는 설치형 응용 프로그램이 얼마든지 있습니다. 더욱 가볍고 빠른 AI를 향한 경쟁 가운데 일반 가정용 컴퓨터에서 돌아가는 AI 성능은 계속 향상되는 추세입니다. 누구나 딥페이크를 제작할 수 있는 조건 속 개인의 손에는 굉장한 힘이 주어졌고, 이 힘은 음란물 제작에 적극적으로 활용되고 있습니다. ‘AI 산업 vs 음란물’은 잘못된 구도 이렇게 되기까지 업계의 자정 노력이 없지 않았습니다. AI 모델 접근 권한을 통제하거나, 음란물 필터를 통해 부적절한 결과물을 걸러내거나, 서비스 정책을 통해 일부 행위를 금지하는 등 다각도의 접근이 있었지요. 지금도 관련 연구가 많이 진행되고 있습니다. 하지만 그 노력에 아무리 박수를 보낸들 피해는 계속 발생해 왔다는 점을, 냉정하게 바라볼 필요가 있습니다. AI 산업은 음란물과의 싸움에서 지고 있습니다. 아니, 어쩌면 AI 산업과 음란물이 싸우고 있다는 관점 자체에 오류가 있는지도 모릅니다. “시스템의 용도는 그것이 실제로 하는 일이다 (The purpose of a system is what it does, POSIWID)”라는 격언이 있습니다. 시스템이 실제로 하지 못하는 것을, 그 시스템의 의도된 작용이라고 주장하는 것은 무의미하다는 말입니다. 시스템의 작용을 이해하는 일은 그에 대한 기대나 가치적 판단보다, 실제 벌어지고 있는 현상에 대한 관찰에 따라야 한다는 교훈을 담고 있습니다. 이 격언을 염두에 두고 현 상황을 검토해 봅시다. AI 산업의 성장과 함께 딥페이크 성착취물 또한 일부 개인의 일탈을 넘어 산업화하고 있고, AI 기술 발전 방향은 개인의 딥페이크 제작 능력 향상과 맞닿아 있습니다. 그렇다면 음란물 제작은 딥페이크 기술의 발전 과정에서 의도치 않게 생겨난 불행하고 부수적인 역효과 같은 것이 아니라, 그 기술이 그렇게 작용하도록 설계된 결과라고 할 수 있지 않을까요? 딥페이크 기술의, 나아가 AI 산업의 용도(중 하나)는 성착취물 제작을 손쉽게 만드는 것이라고요. KrIGF 패널은 합성 성착취물 등 일련의 사건으로 딥페이크 관련 기술의 폐해에 관한 우려가 고조되어, 이 기술의 긍정적 가능성을 차단할 것을 우려했습니다. 하지만 저는 해당 피해가 마치 예외적 상황인 것처럼 인식해서는, 부정적 효과를 차단하기도 긍정적 효과를 끌어내기도 어렵다고 봅니다. AI 산업의 작동 방식 자체가 음란물 관련 피해를 키우는 방향으로 작용한다는 점에 눈감은 채 문제를 해결할 수 없습니다. 🦜더 읽어보기 생성 AI 성착취물 시장의 구조 (AI 윤리 레터, 2023-09-04) 인공지능이 만드는 모두의 딥페이크 (고아침, 2023-01-31) Inside the AI Porn Marketplace Where Everything and Everyone Is for Sale (404 Media, 2023-08-22) OpenAI Is ‘Exploring’ How to Responsibly Generate AI Porn (Wired, 2024-05-08) We Are Truly Fucked: Everyone Is Making AI-Generated Fake Porn Now (Vice, 2018-01-25)

FAIR AI: 둘째 날 스케치 by. 💂죠셉 지난 금요일, NC 문화재단이 주최한 FAIR AI 컨퍼런스에 다녀왔습니다. 행사 둘째 날 주제가 바로 지난주 저희 레터에서 소개한 임베디드 에틱스(Embedded EthiCS)였기 때문인데요. 임베디드 에틱스는 미국 하버드 대학교에서 2017년 무렵 시작된 다학제적 교육 프로그램으로, 컴퓨터 공학 커리큘럼에 윤리를 끼워 넣음(embedded)으로써 둘의 융합을 시도합니다. 특히 이번 컨퍼펀스에서는 이 프로그램을 적극적으로 커리큘럼에 반영시켜 온 스탠포드 HAI의 제임스 랜데이와 메흐란 사하미 교수의 이야기를 직접 들을 수 있었습니다. (사하미 교수는 국내에서도 제법 읽힌 <시스템 에러>의 공저자 중 1인입니다.) 임베디드 에틱스는 2016년 경 하버드 철학과 교수인 바바라 그로스의 개인적 경험에서 시작됐습니다. 현실 문제에 윤리적 고려를 반영해야 하는 과제를 줬을 때 평소 기술 윤리에 제법 관심을 가진 학생들조차도 어떻게 해야 할지를 전혀 모르는 듯한 모습에 충격을 받은 것이죠. 컴퓨터 공학자가 철학자, 인류학자, 윤리학자 등과 한 팀을 이뤄 디자인하는 이 프로그램의 가장 큰 특징이자 목표는 학생들을 최대한 다양한 윤리적 관점에 노출 시키는 것에 있습니다. 가령 AI의 설명 가능성을 높이기 위한 ‘윤리적’ 작업이 AI의 성능 저하로 이어져 예상치 못한 문제를 일으킬 수 있는 것이 한 예시겠죠. 이렇듯 기술을 기획하고 만드는 과정이 굉장히 다양한 기술적, 사회적 함의와 닿아 있다는 사실을 학생들은 반복적으로 배우게 됩니다. 이 과정을 통해 윤리적 상상력을 기르고, 기술 개발에 윤리를 고려하는 건 가치의 교환/협상(trade off)이라는 사실을 체화하는 것이죠. 물론 이 프로그램이 얼마나 실효성이 있는지는 시간을 두고 봐야 할 것입니다. 기술에 대한 윤리적 감수성이 졸업 이후에도 도움이 되고 있다는 후속 연구도 보이지만, 이런 노력이 가시적인 열매를 맺는 건 임베디드 에틱스 졸업생들이 여러 사회 조직의 결정권자가 되는 시점일 테니까요. 이날 사하미 교수가 공개한 설문 조사 결과에 따르면 임베디드 에틱스를 경험한 학생들도 해당 커리큘럼이 얼마나 본인에게 도움이 되었는지에 대한 질문들에 대해 모두 긍정적이지만은 않았습니다. 예를 들어 1점(전혀 동의하지 않음)부터 7점(강하게 동의함) 사이에서 1-3 사이에 위치한 학생의 비율은 꾸준히 20-30%를 기록했습니다. 프로그램 도입을 위한 이해관계자 설득을 어떻게 하냐는 질문에 ‘지지해 줄 사람(proponents)을 찾아 시작하면 된다’는 사하미 교수의 조언에서 드러나듯, 윤리를 강조하는 방향성이 모두에게 설득력을 가지길 기대하긴 어려울지도 모릅니다. 하지만 기술을 기획하고 만드는 사람들의 인식 개선을 시도하는 임베디드 에틱스는 순수 ‘임팩트’의 관점에서 보면 상당히 매력적인 솔루션이 될 수 있습니다. 현재 하버드와 스탠포드 뿐만 아니라 미국 유수의 대학들이 이 방향성에 동참 중입니다. (행사에 참여한 서울대 천현득 교수 발표에 따르면 한국 대학 중에서 임베디드 에틱스를 적용한 곳은 현재까진 없는 것으로 보입니다.) 오픈소스로 원하는 누구나 정보를 얻어갈 수 있으니 관심 있으신 분은 이 웹사이트에서 시작해 보시면 되겠습니다.

AI 윤리 뉴스 브리프 2024년 7월 첫째 주by 🎶소소 1. 안전한 초지능을 만들어야 한다는 믿음 오픈AI의 공동창업자이자 수석과학자였던 일리야 수츠케버(Ilya Sutskever)가 오픈AI 퇴사 이후 한 달 만에 새로운 회사를 차렸습니다. 회사 이름은 Safe Superintelligence Inc.회사명처럼 안전한 초지능을 만드는 것이 유일한 목적이라고 합니다. 최고의 기술로 AI 안전 문제를 해결할 수 있다는 믿음이 느껴집니다. 일리야 수츠케버가 오픈AI에서 '샘 올트먼'의 해임을 주도하고, 또 최근 퇴사한 이유가 AI 안전과 상용화에 대한 가치 충돌이라는 추측이 많았는데요. 회사 소개에서도 그러한 내용을 엿볼 수 있습니다. 그는 ‘경영상의 이슈’와 ‘제품 주기’ 등 상용화로부터 자유로운 AI 안전 연구를 위해 챗GPT와 같은 상용 제품을 만들 계획은 없다고 밝혔습니다. 그는 GPT 모델 발전을 주도하며 현재 AI 발전의 중심에 서 있는 인물입니다. 딥러닝의 시대를 만든 제프리 힌턴 연구실에서 AlexNet을 연구했고, 구글 딥마인드와 알파고를 함께 연구했으며, 그 이후 샘 올트먼, 일론 머스크와 함께 비영리 기업 오픈AI를 창업했습니다. 구글을 떠난 이유도 구글이 AI의 안전을 신경 쓰지 않았기 때문이라고 알려졌는데요. 그는 지난해 오픈AI에 슈퍼얼라인먼트팀을 만들어 이끌어오기도 했습니다. 윤리 레터에서는 많은 AI 기업에서 초지능의 위험을 이야기하며 현재의 AI가 만드는 수많은 문제에 대한 관심을 미래로 돌릴 수 있음을 주의해야 함을 지적해 왔습니다. 일리야 수츠케버의 행보를 보면 그의 초지능에 대한 확고한 믿음과 불안이 진심이라는 것만큼은 분명해 보입니다. 다만 그가 말하는 AI의 위험과 안전성 확보를 위한 노력이 AI로 인한 문제와 해결 방안 전체를 대표하는 것이 아님을 우리는 기억해야 합니다. 2. AI 디지털 교과서 도입 유보를 원하는 5만 명 교육부의 AI 디지털 교과서 사업을 유보하라는 국민동의청원이 5만 명을 넘어 국회 교육위원회에 회부됐습니다. AI 디지털 교과서 사업은 초중등 수업에서 종이 교과서 대신 디지털 기기로 수준별 맞춤 교과서를 제공한다는 내용입니다. AI를 활용해 학생의 성취도, 강점과 약점, 학습 태도를 파악하여 맞춤형 교육을 제공하고, 이 정보를 교사와 학부모에게도 제공한다는 것인데요. 당장 내년인 2025년부터 일부 과목에 우선 도입하고 단계적으로 확대한다는 계획입니다. 이 청원의 핵심은 사업이 충분한 공론화와 합의 없이 서둘러 추진된 데 있어 보입니다. 사업 내용만 들으면 좋은 효과만 있을 것 같지 않나요? 그러나 디지털 교과서 도입에 대해서는 다양한 의견이 존재합니다. 교육부는 AI 디지털 교과서 도입이 “모두를 위한 맞춤 교육”을 위함임을 강조합니다. 아이들을 평균에 맞춰 가르치는 것이 아니라, AI를 활용해 개인 실력에 따른 맞춤 학습을 지원할 수 있다는 것이죠. 그러나 청원에 참여한 사람들은 AI 디지털 교과서가 ‘맞춤 교육’에 적합하다는 충분한 검증이 되지 않았다고 말합니다. 휴대폰, 아이패드로 게임, 유튜브에 쉽게 빠지는 아이들을 보아온 학부모들의 반대도 만만치 않습니다. 교과서 변경은 대한민국 학생들에게 아주 중대하고 직접적인 영향을 미칠 수 있는 사안입니다. 정부가 지금처럼 기술의 긍정적 효과에만 집중하다 보면 부정적 효과는 생각하지 못하기 쉽습니다. AI 디지털 교과서의 효용을 엄밀하게 확인해야 할 뿐만 아니라 사용자인 학생, 선생님에게 미칠 수 있는 부정적 영향까지도 충분히 검증되어야 합니다. 실제 수업 운영에서 발생할 수 있는 문제점과 해결 방안에 대해서도 조금 더 차분히 논의하는 시간이 필요하겠습니다. 🦜 더 읽어보기 외부인의 ‘AI 디지털교과서’ 단상 (AI 윤리 레터, 2024-02-01) AI 교육을 표방하는 ‘디지털 교과서’ 정책, 그 속에 담긴 위험 (교육을 바꾸는 사람들, 2023-08-09) 수천억 원 드는 AI 디지털 교과서, ‘혁명’인가 (시사인, 2024-04-04) 3. 새롭지 않은 새로운 음원 저작권 소송 미국 레코드 산업협회(RIAA)가 유니버설뮤직을 비롯한 소니뮤직, 워너뮤직을 대표해 음악 생성 AI 스타트업 수노AI(Suno AI)와 유디오(Udio AI)에 저작권 침해 소송을 제기했습니다. 음악 생성 AI서비스는 원하는 프롬프트를 입력하면 작사·작곡·보컬을 모두 포함해 노래를 완성해줍니다. 협회는 이 스타트업들이 AI 모델 학습에 저작권이 있는 자사 음악을 불법 활용했다는 주장입니다. 다양한 종류의 창작물이 AI 학습에 창작자의 허락이나 동의 없이 복제되어 활용되고 있습니다. 뉴스, 소설, 시나리오와 같은 글에서 그림으로, 또 음악으로 확대되고 있죠. 저작권이 있는 데이터의 AI 학습에 대한 명확한 규제가 아직 없는 상황에서, 생성 AI 콘텐츠 종류가 늘어날수록 학습 데이터 저작권 소송은 계속해서 확대될 것으로 보입니다. 4. 식약처가 만든 의약품 개발 시 AI 활용 안내서 식약처가 의약품 개발 단계별 인공지능 활용 안내서를 발간했습니다. 가이드라인은 의약품 전주기 중 신규 의약품 개발 초기 단계(후보물질 발굴, 비임상시험, 임상시험 등)에 집중하여 약 10장 분량으로 작성되었습니다. 가이드라인은 의약품 개발 각 단계에서 AI를 활용할 수 있는 사례를 먼저 제시한 후에, 그 단계에서 주의해야 할 사항을 서술하고 있습니다. 예를 들면, 임상 연구 단계에서는 임상시험 데이터베이스, 전자의무기록 등을 분석하여 적절한 임상시험 대상자를 예측하거나 모집하는 데 AI를 활용할 수 있음을 먼저 이야기합니다. 그 후에 AI는 과거 임상시험 환자 데이터 선정/제외 기준으로 학습된다는 사실을 주의해야 한다는 식입니다. 본 안내서가 의약품 개발과 같은 전문 분야에 AI를 활용할 때 주의해야 할 점에 대해 구체적으로 안내해 주기를 기대했지만, 아직은 AI를 어떻게 활용할 수 있는지에 더 초점이 맞춰져 있습니다. 앞으로 실제 사례들이 보완된다면 의약품 개발 현장에서도 큰 도움이 되리라 기대해 봅니다. 📆 소식 Data Workers’ Inquiry, 개막 행사 온라인, 영어 (2024-07-08, 한국시간 9일 새벽) Rethinking the Inevitability of AI: The Environmental and Social Impacts of Computing in Historical Context 버지니아 대학교, 온라인, 영어 (2024-07-18)

사이버 탐정이 그린 AI 해부도 by 💂죠셉 혹시 어린 시절 어물쩍 밥을 남기려 하면 ‘열심히 일한 농부 아저씨께 감사하며 싹싹 긁어 먹으라’는 말 듣고 자라셨나요? 시니컬한 어른이 된 지금이라면 ‘내가 돈을 내고 서비스를 맞교환 한 건데 뭘 감사하기까지?’ 했겠지만, 생각해 보니 재밌습니다. 쌀을 수확하기 위해 땀 흘리며 수고하는 농부의 모습이 서른을 훌쩍 넘긴 지금도 여전히 무의식에 자리 잡아 행동에 영향을 미치고 있거든요. 경제 산업 구조의 관점에서 보면, 어머님 잔소리가 멀리 떨어진 1차 산업 종사자와 그 공급 사슬의 끝에 있는 소비자인 ‘나’ 사이 다리를 놓은 상황이라 할 수 있겠죠. AI 영역에서도 저희 어머니와 비슷한(?) 작업을 수행하고 있는 사람들이 있습니다. 그중 가장 유명한 건 저희 레터에도 종종 등장하는 케이트 크로퍼드(Kate Crawford)겠죠. AI 분야 추천 도서로 심심찮게 언급되는 저작 <AI 지도책>을 통해 일상에서 사용하는 서비스 형태의 AI가 우리에게 이르기까지 과정을 치밀하게 분석했습니다. ‘디지털’, ‘클라우드’, ‘챗봇’과 같은 단어들이 가지고 있는 청정하고 가치 중립적인 이미지와 다르게 사실은 광물의 추출 과정부터 운송, 데이터 센터의 운용과 보이지 않는 곳에서 착취되는 노동자까지, AI는 전 지구 단위 자원이 투입되는 거대 ‘추출 산업’이라는 점을 보여줬습니다. 비슷한 작업을 해온 연구자, 블라단 욜러(Vladan Joler)를 주목해야 할 인물로 소개합니다. 욜러는 우리가 사용하는 테크놀로지의 기술적, 사회적, 정치적 단면의 ‘해부도’를 그리는 작업을 진행해 왔습니다. 페이스북 알고리즘을 대상으로 작업을 시작한 이후 아마존의 AI 스피커인 ‘에코’를 분석한 ‘AI 시스템의 해부’는 크로퍼드와의 공동 작업으로 뉴욕 MoMa에도 전시된 바 있는데요. 두 사람이 또 한 번 합작한 작업물이 얼마 전 온라인에 공개됐습니다. ‘1500년 이후 기술과 권력의 계보학’이라는 야심 찬 제목을 가진 인터랙티브 시각화 작업입니다. 500년간 기술과 사회구조가 어떻게 맞물려 진화해 왔는지를 보여주는 또 하나의 거대하고 복잡한 해부도이기도 하죠. 방대한 연구 내용을 레터에서 자세히 다룰 수는 없지만 위와 같은 종류의 AI 비평 작업들이 유의미한 지점은 어디일지 생각해 보면 좋겠습니다. 이번에 발표한 작업물을 소개하는 영상에서 욜러는 마치 ‘사건을 쫓는 사이버 탐정’의 심정으로 연구를 진행했다고 밝혔습니다. 그만큼 이미 AI와 같은 테크놀로지는 우리를 둘러싼 매우 복잡한 환경의 일부가 되어 있고, 설령 인식했다 해도 그 정확한 작동법을 알기 힘든 블랙박스와 같기 때문인데요. 동시에 욜러와 크로퍼드는 기술 발달로 인해 발생하는 새로운 노동 관계, 착취의 방식, 사용자와 온라인 공간을 소유한 플랫폼 오너들의 관계 등 문제들을 이야기하기 위한 언어가 우리에게 없다는 지적합니다. 즉, 이러한 문제의식 속에서 해부도를 통해 관계를 인식하게 하고, 추상의 영역에 머물던 AI를 물질 세계로 끌어내림으로서 ‘공공연한 사유의 대상’으로 만드는 것이 그들의 목표인 것이죠. https://www.youtube.com/watch?... 비판적으로 생각하기 위해서는 '낯설게 보기'가 필수라는 점에서 크로퍼드와 욜러를 위시한 기술-권력의 시각적 해부도는 제가 아는 어떤 AI 비판보다 효과적인 것 같습니다. (언뜻 보기에 너무 복잡해서 접근성이 떨어진다는 의견이 있을 법 하지만, 사실 위 작업물들은 스크린을 통한 ‘보기’보다는 공간 속에서 직접 경험해볼 것을 염두에 두고 제작된 것으로 보입니다. 이번 작업물도 베를린과 밀란에서 얼마 전까지 전시됐습니다.) 아직 밥 먹으며 농부 아저씨를 떠올리는 정도는 아니지만, 챗GPT를 이용하다 종종 멈칫하는 순간이 생기는 건 아마도 두 연구자의 노력 때문이 아닐까요. AI 시대에 더 많은 사람들에게 도전과 영감을 줄 연구와 작업물이 계속 만들어지길 기대하고 응원합니다. 📖Estampa 라는 프로젝트 그룹이 생성형 AI를 해부한, 좀 더 접근성이 좋은 자료도 있습니다. 해부 대신 ‘지도학(cartography)’라는 표현을 쓴 게 눈에 띄네요. 생성형 AI에 대한 기대는 하이프일까? by 🧙‍♂️텍스 생성형 AI와 전문가 시스템은 닮은 구석이 있다. 챗GPT가 등장하고 1년 반 정도가 지난 요즘 다들 어떠신가요? 초기에는 관련 논문과 생성형 AI 뉴스를 따라가느냐고 번아웃이 왔다는 이야기도 주변 사람들과 많이 주고받았습니다. 하지만, 요즘은 뭔가 예측할 수 있는 일이 진행된다는 느낌이 듭니다. 어쩌면 플레이어들이 소극적으로 변했기 때문이 아닐까 싶습니다. 선도주자인 오픈AI도 생성형 AI의 기술 한계에 도전하기보다는 현재 생성형AI의 완성도를 높이고 상업화를 가속하는 방향을 집중하는 게 아닌가 싶은 모습입니다. 스케일을 키워 범용인공지능 (AGI)를 만들겠다고 이야기했지만, 실제 등장한 것은 GPT-5가 아니라 경량화 모델로 추정되는 GPT-4o이었습니다. 또한 최근 6월 21일 오픈AI는 벡터 데이터베이스 스타트업 록셋(RockSet) 인수를 발표했습니다. 벡터 데이터베이스는 검색증강생성(Retrieval Augmented Generation, RAG) 서비스를 위해서 사용될 수 있습니다만, RAG는 환각 문제를 완화하는 방편이지 근본적인 해법은 아닙니다. 즉, 생성형 AI가 달성하겠다는 AGI의 청사진들은 여전히 미완결 과제로 남아있습니다. 현재 생성형 AI를 둘러싼 과도한 기대는 80~90년대 전문가 시스템이 발전하던 시기의 모습과 유사해 보입니다. 당시에도 전문가 시스템을 둘러싼 하이프가 있었고 많은 투자가 이어졌기 때문입니다. 그리고 약속한 성과를 달성하지 못한 AI에 대한 기대는 실망으로 바뀌면서 사회 전반의 AI에 대한 관심이 급격히 떨어지고 연구비 또한 많이 삭감되는 AI의 겨울을 맞이했습니다. 전문가 시스템의 시작과 인기 전문가 시스템(expert system)은 특정 분야에서 인간 전문가의 의사 결정 능력을 모방하도록 설계된 AI 알고리즘입니다. 1960년대 중반에 스탠퍼드 대학교에서 개발된 최초의 전문가 시스템인 DENDRAL은 화학자들이 유기 분자 구조를 식별하는 데 도움을 주었습니다. DENDRAL의 연구자들은 전문가 시스템이 인간 전문가의 지식을 기호 및 논리적 표현으로 풀어서 서술하여 복잡한 문제를 해결할 수 있는 가능성을 보았습니다. 이러한 접근 방식은 MYCIN, MOLGEN, PROSPECTOR, XCON와 STEAMER 등과 같은 더 정교한 시스템의 개발로 이어졌습니다. 1972년 등장한 MYCIN은 혈액의 세균 감염에 대한 전문가 시스템으로 지식베이스와 추론엔진으로 구성된 구조를 도입하였습니다. MYCIN의 지식베이스를 구성하는 규칙은 아래와 같은 형태로 되어 있습니다. 만약에,(1) 해당 미생물이 그람 양성균(Gram-positive bacteria)이고,(2) 해당 미생물이 구균(coccus)의 형태를 가지며,(3) 해당 미생물이 뭉쳐진 성장 형태를 가지면,해당 미생물이 포도상구균일 가능성이 (0.7) 입니다.출처 MYCIN : 규칙을 토대로 추정에 의한 추론을 사용한 시스템 MYCIN은 위와 같은 세균 감염에 대한 지식베이스를 사용자가 세균에 관한 정보를 입력하면 감염된 것으로 추정되는 세균과 그 확률을 계산해줍니다. MYCIN은 약 500개의 규칙을 사용하여 혈액 감염 분야에서 인간 전문가와 거의 같은 수준의 능력으로 작동했으며, 일반 의사들보다는 약간은 뛰어난 성과를 보였다고 합니다. 이는 특정 분야에서 전문가 수준의 추론 과정을 컴퓨터가 따라하도록 프로그래밍할 수 있다는 것을 보여주는 계기가 되었습니다. 특히, 전문가 시스템과 같은 기호주의 AI 방법들은 기호 및 논리적 표현을 사용하고 논리나 확률 계산 등 명시적인 방법을 통해 추론하기 때문에 의사결정과정을 투명하게 볼 수 있다는 장점도 있습니다. 전문가 시스템에 대한 하이프 의사 결정의 불확실성을 개선하려는 기업들은 전문가의 지식을 기반으로 컴퓨터가 추론을 수행하는 전문가 시스템의 약속을 매력적으로 여겼습니다. 기업들은 경쟁 우위를 확보하기 위해 특정 도메인 맞춤형 전문가 시스템 개발에 막대한 투자를 했으며, 이는 상업용 전문가 시스템 도구와 플랫폼의 등장을 이끌었습니다. 이 기간에 전문가 시스템에 대한 학술 연구 또한 활발히 이루어졌습니다. 지식 표현 및 추론(knowledge representation and reasoning)과 같은 연구는 더 넓은 분야에 전문가 시스템을 적용할 수 있는 이론적 배경을 제공했습니다. 그 결과 전문가 시스템은 의료 진단, 금융 서비스 및 제조업 등 다양한 분야에서 널리 적용되었습니다. 전문가 시스템에 대한 하이프는 시장 과열을 낳았습니다. 기대는 높아졌고, 기술로 달성할 수 있는 현실과의 괴리는 커졌습니다. 많은 조직이 전문가 시스템 구현에 상당한 자원을 투입했지만, 유지보수의 한계를 맞닥뜨리게 되었습니다. 지식에 변경 사항이 있을 때 마다 전문가를 통해서 데이터베이스를 업데이트해야 했기 때문입니다. 따라서 전문가 시스템은 유지보수의 확장성 및 유연성이 떨어졌습니다. 일본의 제5세대 컴퓨터 프로젝트 1982년에 시작되어 1994년에 종료된 일본의 제5세대 컴퓨터(Fifth Generation Computer Systems, 이하 FGCS) 프로젝트는 전문가 시스템 시대 하이프의 대표적인 사례입니다. 이 프로젝트는 새로운 병렬 컴퓨터와 논리 프로그래밍으로 컴퓨터 과학을 혁신하려고 시도했으며, 전 세계적으로 AI 기술에 대한 기대를 크게 높였습니다. 그러나 FGCS 프로젝트는 종료될 때까지도 당시 대다수의 전문가 시스템과 마찬가지로 목표를 달성하지 못했습니다. 논리 연산을 위한 병렬 컴퓨팅 하드웨어 개발은 목적을 달성했지만 시대를 너무 앞서나가는 개념이었고, 80~90년대에 빠르게 발전하는 범용 컴퓨터들은 점차 FGCS 하드웨어의 성능을 추월했다고 합니다. 전문가 시스템의 과도한 약속과 하이프, 그에 미치지 못한 성능에 대한 환멸은 결과적으로 AI 연구 및 개발 자금 삭감의 시발점이 되었습니다. 생성형 AI에 대한 기대는 하이프일까? 오픈AI를 포함한 많은 테크 기업들은 데이터와 모델 규모에 대한 스케일 법칙으로 AGI를 달성하겠다는 비전을 보여왔습니다. 현재에 와서도 여전히 생성형 AI의 환각 현상, 안전 이슈 그리고 윤리 문제는 녹록치 않아 보입니다. 오픈AI는 이에 대한 해법으로 인간 피드백을 통한 강화 학습(RLHF)과 같이 안전 및 윤리 문제를 위한 정교한 데이터셋 구축 및 생성형 AI를 조정하는 식으로 문제를 해결 혹은 우회해왔습니다. 하지만 정교한 데이터셋은 전문가 시스템과 유사하게 꾸준한 유지보수를 필요로 하고 큰 비용을 요구합니다. 데이터셋 구축의 단위 비용이 커진다면 규모를 키우기는 점점 어려워질 것입니다. 맥도날드가 완성도 낮은 챗봇 기반 주문 시스템을 포기한 현실은 AI 시스템이 작동하기 위해서는 고려할 예외 사항이 많다는 것을 보여줍니다. 그리고 콜센터 노동자가 실질적으로 인공지능 시스템을 유지보수하면서 제대로 된 보상을 받지 못하고 있는 상황은 AI 시스템 동작을 위해 지속적인 유지보수가 필요함에도 투입되는 노동은 평가절하되는 현실을 보여줍니다. 이러한 식의 비윤리적인 유지보수를 벗어나 적정한 보상을 제공할 때 생성형 AI는 기업에게 충분한 이익을 가져다 줄 수 있을까요? 이러한 제약조건 하에 유지보수가 가능한 AI 서비스를 달성할 수 있다면 생성형 AI의 하이프는 전문가 시스템의 하이프와 다른 길을 가리라 판단됩니다. 🦜더 읽어보기- 노동의 미래? 맥도날드에서 드러난 AI 기술의 현주소 (2024-06-24)- 콜센터 인공지능을 지탱하는 상담사의 그림자 노동 (2024-06-10)- 더 나은 AI를 위한 상상 (2024-04-24)- 강화학습이 강화하는 역사 (2024-04-24) #feedback 오늘 이야기 어떠셨나요?여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.

AI 윤리 뉴스 브리프 2024년 6월 넷째 주by 🥨 채원 1. 저커버그 잘못이라구 소셜미디어가 특히 어린 사용자들의 건강에 부정적인 영향을 준다는 비판은 꾸준하게 있어왔습니다. 학계에서도 소셜 미디어 사용이 사용자들에게 미치는 영향에 관한 연구가 활발하게 이루어지고 있는데요, 지난 달 네이처지에 소셜 미디어의 어떤 구조가 특히 청소년들의 정신 건강에 위험을 끼치는지 분석한 논문이 실리기도 했습니다. 그러나 이러한 오랜 비판에도 불구하고 소셜 미디어를 운영하는 거대 테크 기업들에 이렇다할 결정적인 제동이 걸리지는 않았습니다. 거대 테크 기업들은 여전히 소셜 미디어 플랫폼을 장악하며 온라인 생태계를 주름잡고 있죠. 미 45개 주와 컬럼비아 특별구가 진행하고 있는 소송은 이러한 현실에 경종을 울리고 있습니다. 검찰측은 메타가 자사 제품들 (인스타그램, 페이스북)이 어린 사용자들에게 미치는 악영향을 의도적으로 축소했다고 비판합니다. 이러한 노력이 과연 소셜 미디어의 독주에 유의미한 변화를 이끌어낼 수 있을지 함께 지켜봐야 할 것 같습니다. 🦜더 읽어보기- How Mark Zuckerberg’s Meta Failed Children on Safety, States Say (The New York Times, 2024-06-22)- 美 41개주 "메타 과도한 중독성, 미성년 정신건강 피해" 소송 (연합뉴스, 2023-10-25) 2. 한 눈에 보는 기술과 권력의 계보학 인공지능을 비롯한 기술을 비판적으로 사유해온 케이트 크로퍼드가 블라단 욜러 과의 새로운 공동 작업을 발표했습니다. <계산하는 제국들: 1500년 이래의 기술과 권력의 계보학> 이라는 제목입니다. 1500년부터 권력과 기술이 어떻게 얽혀왔는지 한 눈에 보여주는 인포그래픽 작품인데요, 얼마전까지 베를린의 현대 미술관인 KW에서 전시작품으로 선보이기도 했습니다. 전시 공간에 24미터의 거대한 지도로 설치되었던 작품인 만큼, 인포그래픽 가득 방대한 정보가 담겨져 있습니다. 거대 언어 모델을 비롯한 각종 AI 기술을 복잡한 층위의 역사적, 정치적, 사회적 맥락 안에 위치시킴으로서 보편적이고도 특수한 관점에서 AI를 통찰하는 케이트 크로퍼드의 능력은 점점 정교하고 날카로워지는 것 같습니다. 같은 작가의 <AI 지도책>은 제가 AI에 관심 있는 모두가 읽어야 하는 책이라고 주변에 강력하게 추천하고 다니기도 하는데요, 이렇게 기르는 비판적인 사유 능력이야말로 지금 AI 담론에 가장 필요한 능력이 아닐까 싶습니다. 3. 노동의 미래? 맥도날드에서 드러난 AI 기술의 현주소 AI가 각종 사건사고의 중심에 서 있는 것은 새로운 일이 아니죠. 이러한 AI 사건사고만을 모아두는 데이터베이스도 있습니다. 그렇지만 그저 웃고 넘기기에는 AI의 발전에 달려있는 노동의 미래가 조금 암울합니다. 맥도날드가 IBM과의 협업을 통해 AI 드라이브스루 주문을 도입하겠다고 밝혔던 것이 대략 3년 전이었는데요, 최근 이 서비스를 중단하였습니다. 소셜 미디어에서 해당 AI 챗봇이 오작동하는 장면들이 바이럴된 것에 따른 조치로 보이는데요, 최근에는 맥너겟을 260개 주문하는 이 틱톡 영상이 화제가 되었습니다. 지난주 브리프에서도 식어가는 생성형 AI 열기에 대한 소식을 공유드렸었는데요, 챗GPT를 비롯한 생성형 AI가 시장에 소개된지도 시간이 꽤 흐른 만큼, 기술의 거품이 꺼질 시점이 온 것이 아닐까 싶기도 합니다. 🦜더 읽어보기- 260 McNuggets? McDonald’s Ends A.I. Drive-Through Tests Amid Errors (The New York Times, 2024-06-21)- "아이스크림에 베이컨이?"…맥도날드 'AI 주문' 결국 중단 (SBS, 2024-06-22) #feedback 오늘 이야기 어떠셨나요?여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.

AI 윤리 공부하는 AI 전공자들 by 🎶소소 지난달 강남역에서 수능 만점을 받았던 의대생이 여자 친구를 칼로 찔러 살해하는 사건이 벌어졌습니다. 이 사건은 한국의 교육 과정에서 최고의 평가를 받은 학생이 입시 과정 동안 무엇을 배워왔는 지 돌이켜보게 만들었는데요. 이러한 비극적인 현상이 비단 한국만의 일은 아닙니다. 전세계적으로 유수 대학의 인재들이 악명 높은 화이트칼라 범죄에 연루되는 사례는 끊이지 않습니다. 지금의 AI 분야는 마치 국경 없는 입시 경쟁을 치르고 있는 양상입니다. 최고 성능의 AI를 만들기 위해 데이터를 긁어모아 학습시키고, 모델의 크기를 키우고, 성능과 효율성을 높이기 위한 방법을 열심히 연구합니다. 그리고 AI 모델의 성능이 몇 점인지, 지난번보다 얼마나 나아졌는지 자랑합니다. 그런데 이렇게 개발된 최고의 AI가 혹시 전쟁을 일으키고 사람을 죽이는 데도 효율적이지 않을까요? 최고의 성능으로 아무도 모르게 범죄를 저지를 수 있도록 돕는 도구가 되지는 않을까요? 하버드는 2017년 AI를 포함한 컴퓨터 과학기술을 공부하는 학생들에게 윤리를 가르치기 위해 임베디드 에틱스(Embeded EthiCS)를 설계했습니다. 이 교과 과정의 특별한 점은 새로운 윤리 수업을 만든 것이 아니라 기존 수업 내 구성 요소가 되도록 설계했다는 점입니다. 컴퓨터 과학 전공 수업을 듣는 학생이라면 모두 윤리를 고민하게 만든 것이죠. 학생들은 수업에서 기술을 개발하고 사용하는 과정에서 발생할 수 있는 윤리적이고 사회적 문제로 무엇이 있는지 이야기하고, 그 문제가 발생하는 이유를 찾고, 문제를 해결하려면 어떻게 해야 하는지 논의합니다. 학생들이 기술 지식뿐만 아니라 무엇이 옳고 그른가 계속해서 고민할 수 있는 환경을 만들어준 것입니다. 예를 들면, 빅데이터 시스템(CS 265) 수업에서는 “데이터 시스템이 왜 개인정보를 보호해야 하는가?”를 묻습니다. COVID-19 팬데믹 당시 접촉자 추적을 위해 데이터 수집을 했던 애플과 구글의 사례를 들어, 나라면 어떤 정보를 수집하고, 수집하지 않았을지 토의합니다. 이 과정에서 학생들은 데이터 수집 효율성과 개인정보보호 문제의 균형을 맞추려면 어떻게 해야 하는지 고민해 볼 수 있습니다. 기계학습(CS 181)기계학습(CS 181) 수업에서는 “AI 시스템이 의도하지 않은 사회적 문제를 일으켰을 때 개발자는 어떤 도덕적인 책임을 져야 하는가?”를 묻습니다. 미국 의료 AI 시스템에서 발견된 인종차별 문제를 돌이켜보며, 학생들은 AI 시스템이 학습한 환자 내역, 건강 기록, 미국 보건복지부가 판단한 건강 결정 요인 목록을 살펴보며 이 문제를 예측할 수는 없었는지, 어떤 데이터를 더하거나 뺐어야 했는지 고민해 봅니다. 보통 이러한 질문에는 무엇이 맞고, 틀린지 명확한 답은 없습니다. 이러한 모호함이 엔지니어, 컴퓨터 과학자들이 윤리 문제를 피하고 싶게 만들기도 하는데요. 그러나 윤리적인 질문을 하는 이유는 어떤 것이 옳다고 정의하기 위해서만은 아닙니다. 질문에 답하는 과정에서 우리는 나와 상대가 추구하는 가치가 무엇인지 이해하고, 어떤 가치가 우리 사회에 반영되기를 원하는 지 계속해서 확인할 수 있게 됩니다. ❓ “AI연구자나 개발자에게 윤리를 교육하는 것보다 윤리적인 AI를 잘 만들어서 보급하는 게 더 쉽고 빠르지 않나요?” AI 전공자가 AI 윤리를 배우는 것은 왜 중요할까요? '윤리적인 AI'가 무엇인지는 결국 사람이 정의합니다. 어떤 데이터를 학습시키고, 무엇에 AI를 활용할지 고민하는 것 모두 사람의 일이죠. 하버드 임베디드 에틱스 리더 제임스 미킨스(James Mickens) 교수는 "공학은 위대하지만 모든 건 연결되어있다는 것을 학생들에게 강조하고 싶다"고 말합니다. 모든 것을 기술적으로 해결할 수 있다는 생각에서 벗어나야 한다는 말입니다. 물론 AI 윤리 문제를 AI연구자나 개발자에게만 맡겨둬서도 안 됩니다. AI 전문가가 아닌 우리도 사회 구성원으로서 AI 윤리 문제에 관심을 가져야겠죠. 앞으로 더 많은 사람들과 서로가 원하는 AI와 우리의 미래에 대해 충분히 대화할 수 있기를 기대해봅니다. FAccT 2024 훑어보기 by 🤔어쪈 작년 이맘때 AI 윤리 레터에서 ‘AI 윤리 연구의 최전선’이라고 소개했던 학회 FAccT (ACM Conference on Fairness, Accountability, and Transparency)가 브라질 리우데자네이루에서 열렸습니다. 총 175편의 논문 발표와 더불어 다양한 세션이 4일동안 진행되었는데요. 이를 주제별로 분류한 시간표만 보고서도 AI 윤리의 지평이 정말 넓다는 사실을 새삼 확인할 수 있었습니다. FAccT는 레터에서 특집으로 다룬 적이 있을 정도로 항상 관심 갖고 살펴보는 학회인데요. 아쉽게도 이번에 FAccT에 참석한 레터 필진이 없어 현장감 있는 소식을 전하진 못하지만 6편의 최우수 논문 수상작을 중심으로 AI 윤리 연구 동향을 간략하게나마 공유드려봅니다. 물론 언급했듯 FAccT가 다루는 영역이 방대한만큼 아래 논문들이 대표성을 가진다고 할 순 없습니다. 학회 논문 대부분이 오픈액세스로 열람 가능한만큼 직접 살펴보시기를 추천드릴게요. FAccT의 첫 글자를 담당하는 공정성 첫번째 논문은 조지프 피시킨(Joseph Fishkin)이 주창한 ‘기회 다원주의’에서 따온 ‘알고리즘 다원주의(Algorithmic Pluralism)’라는 개념을 소개합니다. 개인에게 기회가 주어지는 통로가 단일한 알고리즘에 의한 의사결정으로 인해 더 좁아지고 경직된 병목사회가 되어서는 안된다는 문제의식을 가진 연구에요. 기회 다원주의를 위해서는 알고리즘 다원주의가 필요하며, 또 이를 위해서는 보다 다양한 알고리즘 개발 및 평가 절차와 기준을 토대로 서로 다른 여러 모델들이 함께 적용되어야 한다는 결론을 내립니다. 알고리즘 다원주의의 필요성은 추천 대상이 직접 참여한 추천 알고리즘의 공정성 지표 설계 과정을 담은 두번째 논문에서도 살펴볼 수 있습니다. 인터뷰 결과 콘텐츠 창작자와 데이팅 앱 사용자 모두 노출이 공평하게 이뤄지길 원하면서도, 콘텐츠 창작자는 콘텐츠 품질에 기반한 추천 비중 조절을 용인한 반면 데이팅 앱 사용자는 명시적인 선호 설정에 따른 필터링을 제외하고는 균등하게 추천이 이뤄지길 요구했죠. 결국 공정성 지표 역시 대상과 맥락에 따라 달리 개발하고 적용해야 한다는 의미입니다. AI 공정성 확보 방안으로 활발하게 논의가 이뤄지고 있는 알고리즘 편향 감사 규제를 다룬 논문도 눈에 띕니다. 미국 뉴욕시에서 작년 7월 채용 AI에 독립적인 제3자 편향 감사를 도입해 특정 개인이나 집단이 구인 시장에서 차별을 받지 않도록 제정한 법안(NYC 지역법 144)이 실제로 어떻게 시행되고 있는지 살펴봤죠. 결론부터 말하자면 연구진은 규제 실효성이 부족하다고 지적합니다. 규제 대상인 ‘자동화된 채용 결정 도구(automated employment decision tool)’에 대한 정의 뿐만 아니라 감사자의 독립성 요건이나 데이터 접근 범위 및 권한 등 실천적으로 불명확한 부분이 많아 규제를 피할 수 있는 사각지대가 너무 넓었다고 합니다. 우리가 미처 주목하지 못한 문제들 거대언어모델과 함께 AI 분야 내 핵심 영역으로 떠오른 자연어처리 기술의 발전이 영어에 치우쳐져 있다는 지적은 새롭지 않습니다. 문제는 AI 윤리 연구 역시 마찬가지라는 것이죠. 우리가 그동안 영어를 중심으로 AI의 젠더 편향을 측정하고 줄이기 위해 발전시켜온 기법들을 다른 언어에도 적용할 수 있을까요? 세계에서 세번쨰로 가장 많은 사람이 사용하는 힌디어 기반 AI에 접목한 결과 그렇지 않았습니다. 언어가 갖는 사회문화적 맥락 때문에 힌디어 사용자를 대상으로 한 현장 연구 없이는 데이터 수집 단계에서부터 한계에 봉착했다고 하죠. 비단 힌디어에 국한된 이야기는 아닐 것입니다. 또다른 논문은 비영어권 언어처럼 실제론 많이 쓰이지만 충분한 분석이 이뤄지지 않고 있는 주제를 다룹니다. 바로 합성 데이터(synthetic data) 사용에 따라 발생하는 문제입니다. 저자들은 얼굴 인식 기술 분야 사례를 바탕으로 합성 데이터 활용이 만연해질수록 두가지 위험이 커진다고 주장합니다. 하나는 측정 가능한 지표를 중심으로 겉보기에 다양성과 대표성이 확보된 것처럼 데이터를 생성해도 숨겨진 내재적 편향이 남아있어 다양성-워싱(diversity-washing)이 일어날 수 있다는 것입니다. 또한 합성 데이터를 만들기 위한 실제 데이터 확보에 제공자의 동의가 필요한지 불분명해진다는 점 역시 지적합니다. 요컨대 ‘실제 데이터’를 상정해 만들어진 각종 규율의 기반이 합성 데이터의 등장으로 흔들리고 있다는 것이죠. AI 윤리를 어떻게 배우고 실천할 것인가? 마지막으로 AI 윤리 레터와 북클럽이 떠오르는 논문을 소개하며 글을 마무리할까 합니다. 16개 조직에 소속된 AI 실무자와 AI 윤리 교육 담당자를 대상으로 한 인터뷰 결과, 주된 학습 방식은 자기주도적으로 삼삼오오 모여서 공부하는 것에서 크게 벗어나지 않고 교육 콘텐츠 대부분은 기술적인 개념 설명과 해결방안만을 다룬다는 문제가 드러났습니다. 사회기술적 접근에 기반한 자료와 더불어 사례 연구나 시나리오와 같이 보다 다양한 교육 방법론이 필요하다는 연구 결론을 읽으며 어디서든 AI 윤리를 배우고 실천하기 위한 저변이 녹록치 않다는 사실을 새삼 깨달을 수 있었습니다. 💬 덧붙이는 글🤔어쪈: 발표된 연구와 별개로, 올해 FAccT는 이런저런 일로 구설수에 오르기도 했습니다. 1) 학회 집행위원회에서 이스라엘-팔레스타인 전쟁을 비롯한 AI 무기에 대한 성명서를 발표했다가, 충분히 비판적이지 못하다는 이유로 학회 구성원들로부터 강한 불만이 제기되자 사과문과 함께 기존 성명서를 삭제하는 일이 있었습니다. 2) FAccT가 구글, 아마존 등을 비롯한 AI 기업들의 후원을 받는다는 사실 역시 꾸준한 논쟁거리입니다. 특히 구글과 아마존은 이스라엘에 군용 클라우드 솔루션을 제공하는 프로젝트 님버스에 참여하는 회사라는 점 때문에 지탄의 대상이 되기도 했죠. 이른바 X-risk (Existential risk; 인류에 대한 존재론적 위협) 해소에 초점을 맞춰 기부하는 생존 및 번영 기금 (Survival and Flourishing Fund) 의 후원을 받은 사실 역시 논란이 되었습니다. #feedback 오늘 이야기 어떠셨나요?여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.

AI 윤리 뉴스 브리프 2024년 6월 셋째 주by 🤖아침 1. AI용 전력이 부족하다고? 원전을 지으면 되지! AI 때문에 전력수요가 늘어나므로 원전을 새로 짓는다. 제11차 전력수급기본계획에 드러난 정부 기조입니다. 정부가 2년마다 수립하는 이 계획의 전문가 실무안이 나왔는데요. 2038년까지 10.6GW 규모의 발전 설비를 새로 지어야 하고, 이를 대/소형 원전 및 열병합 등으로 충당한다는 것입니다. 하지만 원전이 AI 산업 육성에 얼마나 도움이 될지는 모르겠습니다. 데이터센터를 지속가능한 방식으로 운영하라는 압박을 받는 테크업계 입장에서는 재생에너지가 아무래도 매력적일 듯합니다. 아마존 관계자가 한국에서 재생에너지를 구하기 어렵고 이는 투자에 영향을 줄 수도 있다는 발언을 최근 하기도 했습니다. AI 기술 중에서도 현재 유행하는 거대 딥러닝 모델이 유독 에너지 집약적이라는 점도 짚을 필요가 있습니다. 유명한 <확률론적 앵무새의 위험> 논문도 모델 거대화 추세를 문제시하며, 이런 경향이 필연적이거나 애초에 필요하긴 한 것인지 묻지요. 거대 AI를 향해 달려가는 경주 속에서 더 효율적인 기술의 가능성이 차단되는 것 아닌지 의문입니다. 한편 위 계획에는 데이터센터가 증가한다는 전제가 깔려 있지요. 데이터센터는 운영에 드는 에너지뿐만 아니라 설립 자체로 탄소배출 등 기후비용을 발생시킨다는 점도 잊어선 안 되겠습니다. AI 산업을 위한 자원 투자가 기후위기 대응을 방해하는 셈입니다. 이런 사회적/지구적 비용을 들여야 할 만큼 AI 기술이 실질적이고 광범위한 혜택을 만들어낼지, 냉정하게 판단해야겠습니다. 🦜더 읽어보기- 우리 회사 AI는 에너지 1등급일까? (2024-05-13) 2. 다소 식어가는 생성형 AI 열기 혜택이란 단어가 나온 김에 말이죠. 생성형 AI를 도입 중인 기업 경영진 및 관리직급 2,500여 명을 설문한 루시드웍스(검색 소프트웨어 기업)에 따르면, “AI 사업 실행에 따른 수익 성과는 형편없는 수준”입니다. 비용 문제와 AI 답변 정확성에 대한 우려까지 겹친 상황에서, 기업들이 AI 관련 지출에 훨씬 조심스러워졌다는 설문 결과입니다 (지출을 늘리려는 곳이 63%로 전해 93% 대비 크게 감소). 보고서는 이렇게 표현합니다. “생성형 AI의 허니문 단계는 끝났다.” 국내에도 많은 기업과 공공기관이 생성형 AI 도입에 열을 올리고 있지만, 실질적으로 (즉 기대감에 편승해 투자를 유치하는 등의 방식을 제외하고) 어떤 이익을 얻었는지는 아리송합니다. 제 주변에도 업무에 생성형 AI를 사용한다는 사람이 이따금 있는데요. 그것을 통해 뭔가 대단한 편익을 얻었다거나 삶의 질이 개선되었다는 얘기는 들어보지 못했습니다. 생성형 AI의 진정한 가치는 무엇이고, 그것은 언제 도래하는 것일까요? 3. 감시 최고전문가를 영입한 오픈AI 디지털 기술로 돈을 버는 검증된 방식이라면 한 가지 있지요. ‘감시’입니다. 오픈AI가 이사회에 미국 국가안전보장국(NSA)의 수장을 지낸 폴 나카소네를 영입했습니다. 명목은 AI 안전성을 확보하는 데 나카소네의 전문성이 도움이 되리라는 것인데요. 나카소네의 전문성과 위상을 생각할 때 앞으로 오픈AI의 미국 정보기관이나 국방성 관련 사업이 가속화되어도 이상하지 않겠습니다. 자사 정책에서 ‘군사 및 전쟁’ 용도의 AI 사용을 금지하던 조항을 올해 초 삭제한 것과 같은 맥락에서 이해할 수 있습니다. 나카소네 재임 중 NSA는 자국 민간인 통신 데이터를 대량 구매하여 불법 사찰하는 등 대중감시 확산에 힘써왔습니다. 이러한 전문성과 AI의 만남이 어떤 결과를 초래할지, 우려도 됩니다. 4. 어도비 이용약관 개정 소동의 시사점 6월 초, 어도비가 포토샵 등 프로그램의 이용약관을 변경하고 이용자들에게 필수 재동의를 받았습니다. 재동의는 약관 개정 때 발생하는 의례적인 절차일 수도 있지만, 이용자가 클라우드에 올린 “콘텐츠를 어도비가 자동 및 수동으로 접근할 수 있다”는 내용이 담겨 있고 재동의하지 않으면 프로그램을 사용하거나 심지어 삭제할 수조차 없었는데요. 얼핏 창작자의 작업물에 어도비 측이 마음대로 손댈 수 있고 생성형 AI 등 다른 제품을 만드는 데 활용할 수 있다는 뜻으로 해석할 수 있는 조항에 대한 반발이 소셜미디어에서 강하게 퍼졌습니다. 이용약관이 화제가 되자 어도비는 해명하는 글을 내놓았습니다. 이용자 작업물을 파이어플라이 생성형 모델 학습 데이터로 사용하거나 작업물에 대한 소유권을 사측이 주장하는 일은 없으며, 콘텐츠에 접근하는 이유는 1) 파일 조회, 편집 등 프로그램 기능 제공을 위해 2) 뉴럴 필터 등 클라우드 기반 기술 개선용 자료 확보 차원에서 3) 아동성착취물, 스팸 등 불법콘텐츠 및 오남용을 방지하기 위해서라고 설명합니다. 아주 납득할 수 없는 설명은 아니지만, 이용자 데이터를 AI 학습용으로 활용하거나 판매하는 플랫폼이 속속 늘어나는 추세 속에서 플랫폼과 이용자 간 불신이 커지고 있음을 보여주는 사례입니다. 플랫폼이 내미는 이용약관을 이용자가 거절할 수 없다는 점에서 권력 비대칭 또한 작용하고 있지요. 클라우드 플랫폼을 이용하는 이상 어떤 활동이건 언제든지 감시의 대상이 될 수 있다는 현실을 상기시키기도 합니다. 🦜더 읽어보기- ‘윤리적’ AI를 그렇지 못한 데이터로 만들 수 있을까? (2024-04-15)- 웅성👥👤마이크로소프트가 책임진대👤👥웅성 (2023-09-13) 📆 소식- 인공지능은 왜 확률적 앵무새일까? (2024년 6월 21일, 온오프라인 하이브리드, 무료)진보넷, 인권활동가를 위한 거대언어모델 이해하기 세미나- 아트랩클럽 <AI 윤리 북클럽> (7월중 오프라인 진행, 참가비 1만5천원)아트코리아랩 (마감일: 2024-06-26) #feedback 오늘 이야기 어떠셨나요?여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.

길들임의 거리 by 💂죠셉 전치형 교수는 저서 <로봇의 자리>에서 동화 <어린 왕자>의 한 부분을 인용, 기술을 ‘길들인다’는 유용한 개념을 제시합니다. 여우는 입을 물고 오랫동안 어린 왕자를 쳐다보았다.🦊 ‘제발.. 나를 길들여줘.” 여우가 말했다.🤴🏻“나도 정말 그러고 싶어.” 어린 왕자가 대답했다.🤴🏻“그렇지만 내겐 시간이 많지 않아. 찾아내야 할 친구들도 있고 알아볼 것도 많아.”🦊“우리는 우리가 길들이는 것만 알 수 있어.” 여우가 말했다. “사람들은 이제 무엇도 알 시간이 없어 (…) 네가 친구를 원한다면, 나를 길들여!” 길들임을 ‘관계를 맺는다’는 의미와 연결 지은 것이죠. 일반적으로 저게 물건이나 동물 등, 비인간을 대상으로 사용되는 건조한 표현이라는 점을 기억 해보면, 여기서 제시된 관계 맺음으로서의 길들임은 기술과의 관계를 설명하는 데도 적절한 것 같습니다. 관계 맺는 대상이 한편으로 ‘도구’라는 점을 상기시키면서도 사용-피사용의 일방성 대신 관계의 양방향성을 드러내 주기 때문이죠. 모르고 있다가는 종종 사람과 헷갈릴 정도로 그럴듯한 아웃풋을 내어놓는 AI와의 관계에서는 더더욱요. 기술과 사회, 개인이 만나 서로를 길들이고, 길들여지는 과정엔 시간의 경과가 필수적일 겁니다. ‘적당한 거리를 두고 관찰하기, 어떤 존재인지 이해하려 노력하기, 낯선 환경에 적응하도록 도와주기. 지켜야 할 규칙을 알려주기, 규제하고 관리하기(p.9)’에 참여하는 가운데 우리는 삶이라는 맥락 속 기술에 대해 사유하고, 이야기하고, 애매한 윤리적 지점에 대해 논쟁하며 사회적 맥락 속 나의 가치들에 대해 고민하게 됩니다. 그렇게 사람들이 서로 연대하고, 공론화시키고, 행동할 시간이 주어졌기 때문에 만드는 사람들도 어느 정도는 사회와 발맞춰 방향키를 잡았을 것이고, 시간이 지나며 그 혜택의 분배도 이뤄진 것이겠죠. 기술 진보를 마치 진화의 과정처럼 여기며 그게 자동으로 우리를 계몽하고 이롭게 할 것이라는 기술 유토피아주의는 비판적으로 거리를 두고 봐야 할 환상입니다. <권력과 진보>에서 저자들이 말했듯, 독점하려는 세력에 대항하는 길항권력이 형성되고, 투쟁해온 사람들이 있었기 때문에 낙수효과도 있었겠죠. 그런데 AI라는 기술을 생각하면 우리에게 그 길들임을 위한 시간이 충분히 주어지고 있는지 의문입니다. 신기술이 이전 것을 갱신하는 속도는 갈수록 빨라져서 생각할 시간도 없이 휘몰아칩니다. 그리고 그 모든 과정이 소수의 닫힌 집단에 의해 이뤄지는 경향 또한 갈수록 심화하고 있죠. 이런 점에서 AI라는 기술은 지금까지의 기술 패러다임과 구분되어 분석할 필요가 있어 보입니다. 규제, 민주적인 의사 결정 과정 등 모두 중요하지만 개개인이 '길들임'을 스스로 연습해 나갈 수 있도록, 기술에 대한 주도적 비판 능력을 갖추는 것이 AI시대를 위한 궁극의 해답일 겁니다. 어려운 문제죠. 어디서부터 시작할 수 있을까요? 시중에 나와 있는 훌륭한 기술 철학, 윤리 책은 정말 많지요. 지금 우리에게 없는 건 그 지식을 밀접한 생활 속에서 녹여낸 이야기들이 아닐까 생각해봤습니다. 지난 레터에 썼듯, 내가 보고 싶은 세상의 모습은 무엇인지, 그것과 기술의 지향점 사이 거리는 어느 정도인지 가늠해 볼 수 있게 도와줄 '작은' 이야기들이요. 종종 명확한 답이 없는 AI 윤리 문제들을 고민하는 일이 위와 같은 테크 감수성(sensibility)을 기르는 데 기여할 수 있으리라 믿습니다. 세계 평화를 향하여 by 🥨채원 저는 지난주 리스본에서 열린 <평화와 안보를 위한 책임감있는 AI> 워크샵에 다녀왔어요. 보통 학교나 기업에서 주관하는 대부분의 AI 관련 행사와 달리, 유엔(United Nations, UN)이라는 국제 기구에서 개최한다는 점에 흥미를 느껴서 다녀오게 되었습니다. 이틀간의 워크샵은 유엔 군축 사무국(United Nations Office for Disarmament Affairs, UNODA)과 스톡홀름 국제 평화 연구소(Stockholm International Peace Research Institute, SIPRI)가 공동으로 개최한 행사였습니다. 군축과 국제 평화를 고민하는 사람들이 이야기하는 AI는 어떤 모습일지 궁금했는데요, 오늘 레터에서 가볍게 저의 감상을 나눠보려고 합니다. AI와 평화, 그리고 안보라니, 처음에는 낯선 단어들의 조합으로 느껴지기도 했습니다. 학부 때 들었던 <국가 안보와 정보>라는 수업을 떠올려보면, 각 국의 정보기관이라든가 국제 정세와 외교 정책 같은 것들을 다뤘던 것 같아요. 그래서인지 워크샵 주제를 듣고 가장 먼저 든 생각은 지금 우크라이나와 가자지구에서 활발히 쓰이고 있는 각종 첨단 AI 기술들이었습니다. 신장 위구르나 홍콩 시위 때도 그랬듯, 기술을 계속해서 발전하고, 이렇게 하는 것이 옳은 것인지 고찰할 새도 없이 사회 곳곳에서 쓰이고 있으니까요. 일단 제 기억에 남는 것은 전통적인 안보 문제 (예컨데 핵확산 방지조약이라든가 치명적 자율 무기 체계 등)와 AI를 비교하는 것이었어요. 국가간 이런 논의를 진전시키는 데 얼마나 많은 시간이 필요한지, 아주 간단한 정의 조차 동의하기 어렵다는 점이 닮았다는 게 흥미로웠습니다. 반면, 핵무기처럼 특정한 행위자만이 ‘추적 가능한’ 형태로 개발하는 전통적인 안보 기술과 달리 AI 기술은 안보에 큰 영향을 미치면서도 기존과 다른 행위자들 - 예컨데 구글같은 미국의 테크 기업들이라든가 다양한 오픈소스 커뮤니티 - 에 의해 이루어지기 때문에, 새로운 접근 방식이 필요하다는 것도 인상깊었습니다. 지금 AI에 대해 이루어지는 많은 비판이 윤리적인 비판 혹은 안전성, 위험성에 기반을 두고 있는데요, 이러한 관점이 국제 안보에서 이야기되는 안보와 비슷하면서도 다른 점이 많다는 생각이 들었습니다. 결국 중요한 것은 어떤 맥락에서, 누구의, 무엇을 위한 안전인가를 묻는 것이겠지요. ‘책임감 있는’ 기술 혁신의 책임이란 무엇 혹은 누구에 대한 것일까요? 또 AI 기술을 개발하고 사용하는 개인의 입장에서 책임감이란 어떤 의미일까요? 한편으로는 비슷한 논의점이라도 ‘윤리적 문제’로 이야기되는 것과 ‘안보의 문제’로 제시되는 것에서 오는 차이점 또한 흥미로웠습니다. 윤리라는 말랑한(?) 이름이 오히려 날카로운 비판을 어렵게 만드는 것은 아닐까 싶기도 했고요. 너무 말랑하지 않으면서도 냉정하되 너무 날카롭지만은 않은 그런 ㅎ 관점을 갈고 닦아서 앞으로 독자 여러분과도 나누어보도록 할게요. #feedback 오늘 이야기 어떠셨나요?여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다

AI 윤리 뉴스 브리프 2024년 6월 둘째 주 by 🧙‍♂️텍스 1. 당신의 동의를 구하지는 않았지만, 퍼가요~ 5월 22일 페이스북은 공식 뉴스룸 포스팅을 통해 생성형 AI를 유럽 지역에 확대하는 계획을 발표했습니다. 현재 북미에서만 서비스 중인 Llama 어시스턴트를 유럽으로 확대할 예정입니다. 메타는 이달 유럽의 인스타그램과 페이스북 사용자에게 공개 게시물이 6월 26일부터 인공지능(AI) 훈련에 사용될 수 있다고 데이터 거버넌스 변경을 알렸습니다. 이와 함께 메타는 변경 계획이 유럽의 GDPR(General Data Protection Regulation)을 준수하며, 사용자가 원하지 않을 경우 데이터 사용을 제외할 수 있는 옵트아웃(Opt-out) 설정 옵션 또한 제공한다고 밝혔습니다. 5월 29일 유로뉴스의 기사에 따르면 메타는 아일랜드 데이터 보호 위원회가 제기한 여러 문의에 대응 후 현재와 같은 일정으로 거버넌스 변경을 연기했다고 합니다. 하지만 프라이버시에 있어서 유럽이 녹록한 곳은 아닙니다. 6월 6일 비영리단체인 유럽 디지털 권리 센터(noyb)는 메타의 거버넌스 변경이 사용자의 옵트아웃 이후에도 시스템에 이미 탑재된 데이터의 잊혀질 권리(GDPR 17조)가 보장되지 않는 등 여러 근거를 들어 GDPR 위반을 주장하며 11개 국가의 데이터 관련 기관에 6월 26일 전에 메타의 거버넌스 변경의 신속한 중지를 요청했습니다. 변경된 데이터셋을 반영하려면 알고리즘을 처음부터 새로 학습시켜야 해서 큰 비용과 긴 학습 시간을 요구로 합니다. 따라서, 빅테크 기업들은 해당 요구를 무시 혹은 우회하는 전략을 취하리라 조심스럽게 예상해 봅니다. 유럽 정책 당국이 이 사안을 어떻게 판단할지 지켜봐야 할 것 같습니다. 🦜더 읽어보기- 4. 데이터, 어떻게 팔아야 잘 판 걸까? ...팔아야 하는 걸까? (2024-03-25)- 1. AI 학습용 데이터 팝니다 (2024-03-04)- 이용자 몰래 데이터를 활용하고 싶은 기업들 (2023-08-23) 2. 저작권에 꽂혀있는(?) 유인촌 문화체육관광부 장관 작년 12월 27일 문화체육관광부 (이하 문체부)는 저작권에 관한 총체적인 전략인 저작권 강국 실현, 4대 전략을 발표했습니다. 4대 전략에 따라 문체부는 AI 선제 대응을 위해서 생성형 인공지능(AI) 저작권 안내서를 발행했고 현재 회색지대에 놓여 있는 AI 저작권 관련한 R&D 기술 개발을 지원합니다. 또한, 저작권 사각지대 해소 방안으로는 안무·건축 등 소외분야 권리행사 지원 강화 등을 언급하였습니다. 올해 4월 24일에는 안무저작권협회가 출범하여 안무저작권 수익 분배 구조 등을 논의하며 문체부 정책들과 상응하는 모습들도 보입니다. 또한 4월 26일 출판업계 현장 간담회에서는 책이 다른 콘텐츠의 원천이라는 점 또한 언급하면서 출판 저작권 보호또한 언급되었습니다. 연합뉴스의 기사에서 유인촌 장관은 "AI가 창작물을 만들려면 데이터로 학습을 했을 텐데, 제공된 데이터에 대한 보상은 이뤄져야 한다는 게 개인적인 의견"이라고 이야기했습니다. 아무쪼록 향후 저작권 제도의 발전이 창착자 권리 보장과 지속 가능한 창작 환경이라는 두 개의 상충점을 잘 조율 하기를 기대합니다. 🦜더 읽어보기- 4. 데이터를 사모으는 어도비 (2024-04-22)- AI에 맞서는 저술노동자들의 목소리(2024-04-15)- 2. 미드저니가 훔친 작품의 작가 명단 (2024-01-15)- 창작자 생태계 상상하기: 스태빌리티 AI 집단소송 기각에 부치는 글(2023-11-15)- 이미지 생성기 산업이 예술가를 괴롭히는 법 (2023-10-11)- 옵트-아웃 오픈AI / 뉴스 저작권 그 다음은? (2023-09-25)- 생성 AI와 저작권, 정산은 본질이 아니다 (2023-07-10) 3. 콜센터 인공지능을 지탱하는 상담사의 그림자 노동 한겨레의 세 건의 기사로 묶인 AI의 습격 인간의 반격 이슈는 콜센터의 인공지능 도입이 상담원 노동을 어떻게 변화시켰는지 분석했습니다. 약 3~4년 전 콜센터 인공지능 도입 초창기에는 인공지능이 고객의 단순한 상담 요청을 처리해서 상담원의 수고를 덜어주리란 기대가 있었습니다. 하지만 현재는 완성도 낮은 인공지능 때문에 상담원들이 화난 고객들 대하는 감정 노동해야 하거나 시스템을 보조하느라 업무가 편해지기는커녕 오히려 복잡해졌다는 지적입니다. 기사의 설문조사에서 44%의 상담사가 콜센터 업무 외에 인공지능 고도화를 위한 추가적인 그림자 노동을 수행했다고 했습니다. 이들 중 86%는 이에 대한 정당한 보상 및 대가를 받은 적이 없다고 응답했습니다. 절반 이상의 (51%) 상담사는 인공지능 기술 고도화에 상담사들의 노하우가 활용되고 있다고 이야기합니다. 기사에서는 이러한 현실을 AI 학습을 위한 지식재산권 침해 사례로 언급했습니다. 우선적으로 2020년대에도 여전한 사전협의 없는 부당한 업무 지시를 근절해야 할 것입니다. 그리고 장기적으로는 민주적 데이터 거버넌스를 수립하여 인공지능을 지탱하는 이들을 위한 보상 체계를 마련해야 할 것입니다. 어렵겠지만 인공지능의 적절한 이익 분배 정책은 인공지능의 사회적 포용 및 효용을 동시에 달성할 수 있는 길이라 예상됩니다. 🦜더 읽어보기- 원격 계산원과 키오스크 (2024-04-29)- 강화학습이 강화하는 역사 (2024-04-24)- 4. 콜센터 AI 도입과 상담 인력 감축 (2024-01-15) #feedback 오늘 이야기 어떠셨나요?여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.

우리가 주목해야 할 지금 발생중인 진짜 피해 by 🤔어쪈 피해를 생성하는 [생성형 AI] (Generating Harms). 작년 그리고 올해 연이어 생성형 AI의 유해한 영향을 분석한 EPIC (Electronic Privacy Information Center; 전자개인정보센터) 에서 내놓은 보고서 시리즈 제목입니다. 사실 첫번째 보고서를 이미 AI 윤리 레터에서 소개한 적이 있습니다. 아래 나열한 것과 같이 다루는 주제가 광범위하다보니 노동 영역에 미치는 영향을 중심으로 살펴봤었죠. 미처 직접 다루진 않았지만 AI 윤리 레터 구독자 분들에게 꽤 익숙할만한 피해 종류들입니다. 오정보 및 역정보의 무분별한 확산 프라이버시 및 데이터 보안, 지적재산권 침해 기후 위기를 부추기는 환경 영향 그 외 노동의 가치 절하, 소외 집단에 대한 차별, 생성형 AI 제품에 대한 법적 책임의 모호성, 시장 지배력 및 독점 강화 등 올해 발간된 두번째 보고서는 지난 1년 사이 생성형 AI 기술이 굉장히 빠르게 확산되며 앞서 언급한 것에 더해 새롭게 식별되거나 파생된, 보다 시급하게 개입이 필요한 4가지 영역에 초점을 맞췄습니다. 전작이 포괄성에 방점을 찍었다면, 이번에는 여러 실제 사례들을 바탕으로 실질적인 피해가 발생하고 있다는 점을 강조합니다. 선거 관련 위험 생성형 AI로 인해 발생하는 오정보 및 역정보는 선거 맥락에서 보다 큰 파급력을 가지며 결과적으로 민주 정치 제도에 대한 신뢰를 실추시킴 또한 외국에서의 선거 개입을 보다 쉽게 만들고 선거 기간 일어나는 사람 및 조직간 의사소통 및 상호작용의 취약점을 악용하는 보안 및 안전 문제가 일어남 본격화된 데이터 및 프라이버시 침해 이른바 ‘데이터 활용 최대주의 (maximalist data use)’가 득세함에 따라 데이터 프라이버시 기본 원칙인 데이터 최소화, 목적 제한 원칙이 지켜지지 않고 있음 웹 스크래핑이 사실상 생성형 AI 개발을 위한 기본 선택지가 됨에 더해 모델의 불투명성은 예측하기 어려운 데이터 프라이버시 보안 문제를 불러일으킴 데이터의 기능적·질적 악화 디지털 환경에서 AI 생성 콘텐츠가 범람하며 악화의 양화 구축이 나타나고 있는 한편, 규모의 법칙에 대한 믿음 아래 생성형 AI 개발 목적의 무분별한 데이터 수집 및 학습이 자행되고 있음 두 현상의 상호작용으로 인해 데이터의 인간 사회의 지식과 정보의 원천 역할을 더이상 기대할 수 없음 콘텐츠 라이선스의 함정과 역효과 생성형 AI 개발을 위한 학습 데이터 구축 방법으로 무분별한 웹 스크래핑이 보편화됨에 따라 생기는 문제 해결을 위해 첫번째 보고서를 비롯한 여러 곳에서 콘텐츠 라이선스를 대안으로 제시함 하지만 최근 발표되고 있는 AI 및 콘텐츠 분야 기업 간 계약은 오히려 1) 대기업 간 독점 계약으로 인한 경쟁 제한, 2) 지적 재산권 분야 법제도적 논의 및 검토 회피, 3) 취약한 창작자 지위로 인한 사실상의 착취 구조 조성 등의 문제를 일으킴 보고서를 발표한 EPIC이라는 연구소는 디지털 환경에서의 프라이버시 및 관련 기본권 보호를 위해 설립된 비영리단체로, 무려 30년동안 활동을 이어오고 있습니다. 긴 업력을 토대로 EPIC은 생성형 AI 자체는 새롭게 떠오르는 유망 기술일지 모르지만, 그로 인해 제기되는 문제와 피해는 결국 기존 디지털 환경의 프라이버시, 투명성, 공정성에 대한 논의의 연장선에 있다고 주장합니다. 뿐만 아니라 실제 피해가 발생하고 있는 지점을 강조함으로서 사람들로 하여금 생성형 AI가 초지능이 되어 ‘인류에 대한 실존적 위협’을 일으킬 수 있다는 공상과학 소설이나 영화에 나올법한 문제보다 당면한 과제에 집중하도록 요구합니다. 의회, 정부, 규제 기관이 어떤 정책을 입안하고 집행해야 하는지 구체적으로 명시한 것 역시 보고서의 특징이죠. 단순 우연인지 계획된 것인지는 모르지만 EPIC의 두번째 보고서가 발표된 날, 미 의회 상원에서도 작년 가을 출범한 AI 인사이트 포럼에서의 논의 결과를 취합하여 작성한 AI 정책 로드맵을 발표했습니다. 하지만 월요일에 전해드린 <시민이 주도하게 하라>라는 제목의 ‘그림자’ 보고서에서 지적하듯, 그 과정이나 결과 모두 기업친화적이라는 비판이 있었죠. (EPIC 역시 해당 보고서 작성에 참여했습니다.) 우리나라 역시 새로운 국회 회기가 시작되며 인공지능법 제정 논의가 한창입니다. 종종 상징성 때문에 통과 여부에만 주목하는 기사가 보이곤 하지만, EPIC의 보고서가 담고 있는 실제 피해를 방지하기 위한 법안 내용을 둘러싼 논의가 이뤄지기를 희망해 봅니다. '내가 살고 싶은 세상'으로부터 시작하기 by. 💂죠셉 3주 전 TESCREAL 에 대한 글을 보낸 이후, 윤리레터 북클럽은 AGI(보편 인공 지능)를 거쳐, 기술-미래 예측의 메커니즘으로 관심을 이어가는 중입니다. 카이스트 전치형 교수님과 서울대학교 홍성욱 교수님의 공저인 <미래는 오지 않는다>를 함께 읽고 있는데요. 오늘 레터는 이 책의 소개이자, 지난번 썼던 TESCREAL 글의 논지를 확장해 보는 글입니다. ‘과학기술은 어떻게 미래를 독점하는가?’라는 부제에서 드러나듯, <미래는 오지 않는다>는 TESCREAL 주의자들과 같은 비져너리들이 미래를 예언하는 방식을 비판적으로 바라보는 책입니다. 두 저자에 따르면 미래 예측은 해석과 비판이 필요한 담론입니다. 즉, 기술 발전을 진화의 과정과 동일시하며 AGI의 도래를 역사적 필연으로 선언하는 TESCREAL 주의자들의 입장과 대비되는 관점이죠. 당연한 말이지만 기술과 사회, 문화는 진공 상태에서 발전하지 않습니다. 그렇기 때문에 이 복잡계들이 맞물려 서로를 어떻게 바꿔나갈지를 정확히 예측하기란 거의 불가능에 가깝죠. 일례로 2019년, 기술 논평의 대표적 매체인 미국의 월간지 와이어드(WIRED)에서 25년간 내놓은 미래 예측을 일일이 분석한 글에 따르면, 그간 웹과 블록체인 등 기술에 대한 전문가들의 낙관론은 대부분 실현되지 않았습니다. 오히려 그 낙관론이 극에 달했을 때 찾아온 건, 닷컴 버블과 2008년 금융 위기였죠. 자동차가 개발됐을 당시엔 도시에 가득한 말똥 문제를 해결해 줄 ‘청정기술’로 여겨졌다는 사실 또한 기술-미래 예측에 대해 많은 걸 시사합니다. 그런데 예측이 어렵다는 걸 기술의 전문가인 저들이 정말 몰라서 확신에 찬 발언을 하는 걸까요? 이 지점에서 우린 미래 예측이 ‘현재’에 미치는 영향으로 시선을 돌려야 합니다. 즉, 이 예언들은 어떤 내러티브를 통해 전달되고 있는가? 그 내러티브에서 공통으로 보이는 구조는 무엇인가? 누가 어떤 방식으로 예언하고 있는가? 이를 통해 어떤 관점이 강화되며, 반대로 어떤 미래가 배제되고 있는가? 와 같은 질문을 던져보는 거죠. 가령 우리는 TESCREAL 주의자들에게 같은 질문을 던져볼 수 있습니다. AGI의 잠재력이 그렇게 대단하다면, 인간의 조건을 개인적으로 초월하는 것뿐 아니라 사회적으로 개선하는 데도 도움을 줄 수 있지 않을까요? 죽음도 극복하고 우주 정복을 가능케해 줄 대단한 기술이라면 왜 가난과 불평등 같은 오래된 문제의 근원을 분석하고 해결하는 데 사용할 수 없는 걸까요? 그건 한나 아렌트가 <인간의 조건>에서 성찰했듯 모든 기술-미래 예측이 필연적으로 정치적이기 때문입니다. 이런 관점에서 보면 TESCREAL이 강화하고, 배제하는 미래의 모습은 보다 선명해집니다. 어떻게 생각하시나요? 저는 아니지만, 이 글을 읽는 누군가에겐 트랜스휴머니즘이나 롱터미즘도 매력적인 대안으로 느껴질 수 있을 것이라 생각합니다. 결국 중요한 건 “이렇게 파악한 기술-미래 예언의 구조와 특성이 자신의 세계관과 어떤 점이 부합하고, 어떤 점에서 차이가 있는지를 따져보는 것 (p.190)”이겠죠. 가령, 육체는 무의미하며, 죽음을 초월해 비생물학적 존재로 진화하는 TESCREAL 버젼의 미래는 내가 살고 싶은 세상의 모습과 얼마나 가까운가? 와 같은 질문에서부터 시작해 볼 수 있지 않을까요? AI와 같은 기술이 우리 환경 그 자체가 되어가는 시대, 이런 대화가 더욱 많아져야 합니다. “우리 모두가 직접 미래 예측 활동에 뛰어들 수는 없지만, 미래에 대한 더 나은 논쟁은 현재를 더 낫게 바꾸는 데 기여(p.11)’ 할 수 있으니까요. #feedback 오늘 이야기 어떠셨나요?여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.

AI 윤리 뉴스 브리프 2024년 6월 첫째 주by 🍊산디 1. 문건 유출로 드러난 구글의 알고리즘 투명성 훼손 2500장에 달하는 구글 검색 알고리즘 내부 문건이 깃허브에 유출되었습니다. 문건은 구글 검색 결과가 어떤 요소를 고려하여 우선 노출되는지를 다루고 있습니다. 문제는 공개된 문건의 내용과 구글이 그간 주장해온 바가 일치하지 않는다는 점입니다. 유출된 문건에 따르면 구글 검색 알고리즘은 구글 크롬 브라우저를 통해 수집한 이용자 데이터, 권위있는 브랜드를 우선 노출하기 위한 도메인 권위 지표 등을 반영하여 노출 순서가 정해집니다. 이는 그동안 구글이 부정해온 요소들입니다. 이번 사건은 구글이 다분히 의도적으로 알고리즘 투명성을 훼손해왔음을 보여줍니다. 이번에는 구글의 ‘실수’로 정황이 드러났지만, 우리의 일상에 함께하는 다른 많은 알고리즘들은 어떻게 감시할 수 있을까요. 2. 시민이 주도하게 하라(Put the Public in the Driver’s Seat) AI NOW, Accountable Tech 등 13개 기관은 그림자 보고서, <시민이 주도하게 하라(Put the Public in the Driver’s Seat)>을 발표했습니다. ‘그림자 보고서(shadow report)’는 비정부기구가 정부 보고서를 비판적으로 보완하며 제시되는 보고서를 뜻합니다. 이번 보고서는 미국 상원의 AI 정책 로드맵(AI Policy Roadmap)을 비판적으로 보완합니다. 지난 5월 15일, 미국 상원의원 민주당 원내대표 척 슈머(Charles Ellis Schumer)는 AI 정책 로드맵을 공개했습니다. 그림자 보고서는 로드맵 제작 과정이 시민사회에는 폐쇄적이었던 데 반해 일론 머스크, 샘 올트먼 등 기업 관계자에게는 활짝 열려 있었다는 사실을 지적합니다. 내용 측면에서도 로드맵은 AI의 산업적, 안보적 가치에 초점을 맞추고 있는 것으로 보입니다. 그림자 보고서 <시민이 주도하게 하라>는 AI와 관련된 우려들을 11개 분야로 정리하여 제시합니다. AI 책임성, 노동, 빈곤, 민주주의, 기후위기 등의 문제들과 함께 소비자 보호, 빅테크에 의한 독점 방지, 공적 자금의 AI 투자 등 AI 시장이 공익에 부합하는 방향으로 움직이도록 하기 위한 방법에 대해서도 폭넓게 다루고 있어요. 각 분야마다 최신 연구들(Mountains of Evidences)이 정리되어 있으니 한번 훑어보셔도 좋을 듯 합니다. 3. 교사 개인정보 유출,AI 디지털 교과서는 준비 되었나 지난 5월 20일, 교육부는 17개 시·도교육청에 ‘교실혁명 선도교사 연수대상자 선정 결과’ 안내 공문을 보내며 연수 대상자 명단이 담긴 엑셀파일을 첨부했습니다. AI 디지털 교과서 도입을 위해 열린 첫 번째 연수의 대상자를 안내하는 공문이었죠. 그러나 4곳의 교육청에는 암호화되지 않은 파일이 전송되었고, 1만1000여 교사의 이름, 소속, 휴대전화 번호가 열람할 수 있는 상태로 노출되었습니다. 교육부는 공문의 열람 범위를 제한해줄 것을 요청하는 등의 조치를 취했으며, 연수 대상자분들에게 사과와 재발방지대책을 담은 이메일을 보냈다고 합니다. 교육부는 개인정보보호위원회에 해당 사실을 보고하였으며 향후 조사에 성실히 임한다는 입장입니다. 이번 개인정보 유출을 AI 디지털 교과서의 안전성과 아무 관련 없는 일이라고 이해할 수도 있을 것입니다. 하지만 교육 현장의 교사와 학생들에게는 정부가 AI 디지털 교과서를 통해 수집한 학습정보를 어떻게 보호할 것인지 물을 기회가 주어져야합니다. 교원단체들은 AI 디지털 교과서 재검토를 요청했습니다. 교육부는 2025년부터 영어, 수학, 정보, 특수교육 국어 등 4개 교과목에 AI 디지털 교과서를 도입할 계획입니다. 🦜 같이 읽어도 좋은 글- AI 교과서는 우리 아이 데이터 채굴기? (2024-01-29)- 외부인의 ‘AI 디지털 교과서’ 단상 (2024-02-21)- AI 디지털 교과서, 결정권은 누구에게 있는가 4. 안녕하십니까, 지역언론 AI 앵커입니다 JIBS 제주방송에서는 매주 토요일 AI앵커가 지역 뉴스를 소개합니다. 그 모습도 실제 JIBS 기자국 기자의 음성과 몸짓을 모델로 제작되어 매우 현실감 있죠. 영상으로 보더라도 ‘AI 앵커’라는 안내 문구가 없다면 AI라는 사실을 알 수 있을까 싶습니다. 제주만이 아닙니다. 청주방송이 이미 지역민방 최초로 AI뉴스를 도입하였고, KNN과 G1 방송 등 지역민영방송사들이 속속 AI 앵커를 도입하는 추세입니다. 지역민영방송노조는 AI 앵커가 그저 비용 절감을 추구한 결과일 뿐, 재난방송이나 속보 등에 대응할 수 없고 지역민의 뉴스에 대한 신뢰를 더욱 떨어뜨릴 수 있다고 지적합니다. 노조는 고용조건과 노동조건, 방송윤리 등에 영향을 주는 중요한 사안인 만큼, 방송사가 노조와 더 깊이 협의할 것을 요구합니다. AI 앵커는 언론이 AI로 인해 겪는 많은 변화들 중 하나입니다. 물론 AI 도입에 무조건 반대할 필요는 없습니다. 오히려 생산성을 높여 새로운 투자가 이루어질 수도 있겠죠. 하지만 새로운 기술이 미처 알지 못했던 부작용을 야기하지는 않는지, 조직 구성원과 지역 주민들은 어떤 영향을 받는지, 언론 조직의 관행은 어떤 영향을 받는지 예의 주시해야 할 겁니다. 언론은 여느 때보다도 예민하게 변화와 대응이 필요하고, 이러한 변화는 언론 가치를 최우선에 두어야 합니다. 그나저나, 김동은 기자님이 퇴사하면 ‘김동은 AI 앵커’도 삭제되는 걸까요? 관련해서 회사와 계약서는 쓰셨겠죠…? 🦜 같이 읽어도 좋은 글- 온고지신 할리우드(2023-07-24) #feedback 오늘 이야기 어떠셨나요?여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.

독자와의 (아주 느린) 두번째 대화 새로운 보금자리에서 보내는 AI 윤리 레터 역시 항상 위와 같은 피드백 창구를 열어두고 있습니다. 지난주 이후에만 1주년과 웹사이트 오픈 축하 인사를 포함한 7개의 피드백을 받았어요! 하나하나 감사히 읽으면서 앞으로도 꾸준히 좋은 글로 보답해야겠다는 다짐을 해봅니다. 저번에 이어 1주년 기념으로 AI 윤리 레터 필진이 기억에 남는 피드백에 답장을 드리는 자리를 한번 더 가져봅니다 🙂 📬 불만자 님이 남겨주신 의견, 2023-06-05 도덕적 아웃소싱 아주 흥미로운 개념입니다. 비단 AI가 아니더라도 도덕적 아웃소싱은 우리 사회의 만연한 문제인 것 같습니다. 한국 사회의 가장 큰 문제는 모럴 해저드입니다. 그런데 모럴 아웃소싱은 모럴 해저드만큼이나 문제입니다. 정말 나쁜 놈들이 모럴 아웃소싱을 하고서는 자기는 좋은 사람인 척 허허 웃기나 합니다. 결정과 책임과 권한을 떠넘기고 모럴 디시젼을 회피합니다. 손에 흙을 묻히는 일은 남이 다 해 줬으면 좋겠고 자기는 모른 척 하고 있다가 떡이나 먹겠다는 것입니다.산업 현장 도처에서 모럴 아웃소싱이 발견됩니다. 이익만 누리고 의무와 책임과 결정은 아래쪽에 떠넘긴 다음에 그 아래쪽이 모럴 해저드를 택할 수 밖에 없게끔 만듭니다. 그러고 나선 이익도 자기가 갖고 도덕적 우위도 자기가 갖는 것입니다. 이제 인간들은 심지어 AI에게까지 모럴 아웃소싱을 합니다. AI는 불평도 하지 않고 도덕적으로 blame할 수도 없으니 모럴 아웃소싱하기 딱 좋습니다. Re: 불만자 님께 (by 🤔어쪈) 🌏다솔님께서 소개해주신 루만 초드리(Rumman Chowdhury)의 ‘도덕적 아웃소싱 (moral outsourcing)’ 개념은 평소 제 문제의식과도 닿아있는데요. 논의에 앞서 거의 1년 가까이 지나서야 답장을 드리는 점 양해 부탁드립니다. (_ _) 도덕적 아웃소싱은 보통 도덕, 윤리에 대한 고려가 필요한 의사결정을 기계나 알고리즘, AI에 맡기고 책임을 회피하고자 하는 행위를 지칭합니다. 하지만 지적해주신 것과 같이 어떤 조직이나 사람이 다른 이에게 도덕적 아웃소싱을 하는 모습도 꽤나 익숙하죠. 사실 우리가 사회에서 생활함에 있어 대부분의 의사결정은 일정 부분 도덕적 함의를 갖고 있고, 다양한 종류의 거래와 계약이 그 책임을 전가하는 방식으로 이뤄집니다. 어쩌면 인간 사회에선 그게 너무나 당연하기 때문에 도덕적 아웃소싱이라는 표현에 AI가 내포된 것일 수 있겠다는 생각이 듭니다. 최근 짧게 다룬대로 요즘 AI 업계 키워드는 단연 AI ‘에이전트 (agent)’입니다. 오픈AI의 GPT-4o나 구글의 Gemini 및 프로젝트 Astra 데모 영상을 떠올려보세요. 갈수록 다재다능해지는 AI 기술은 우리로 하여금 AI 에이전트에 보다 많은 역할을 부여하고 의사결정과 행위에 대한 권한을 위임하는 상상을 하도록 만듭니다. 하지만 AI 에이전트가 대신 해주는 역할과 의사결정, 행위의 책임은 누가 져야 할까요? 누가 지게 될까요? AI 에이전트가 우리 사회에 깊숙이 들어올수록 도덕적 아웃소싱은 보다 빈번하게 일어날 것으로 보입니다. 불만자 님께서 말씀하신대로 AI 에이전트가 불평할 일이 없을테니까요. 하지만 도덕적인 책임을 돌릴 (blame) 수도 없으니 도덕적 아웃소싱을 하기 딱 좋다는 말은 모순적으로 들리기도 합니다. AI 에이전트를 탓할 수 없다면 누가 어떻게 책임을 회피할 수 있는 걸까요? 저는 바로 이 지점에서 도덕적 아웃소싱이라는 개념의 교훈을 얻을 수 있다고 생각합니다. 우리는 능력과 책임이 항상 함께 있다는(움직인다는?) 사실을 너무도 자연스럽게 받아들입니다. 하지만 AI의 능력에는 그 당연한 사실이 적용되지 않습니다. 요컨대 도덕적 아웃소싱은 우리의 착각에서 비롯해 이뤄집니다. 개념을 주창한 루만 초드리가 책임(responsibility)과 책무(accountability)에 주목한 이유도 같은 맥락이 아닐까요? 📬ㅂㄱㅎ 님이 남겨주신 의견, 2024-04-03 (피드백 서두에 많은 여성 AI 전문가를 추천해주셨으나, 공개를 원하지는 않으셔서 중략합니다.)여성 AI 전문가는 한국에 많습니다. 그리고 그 분들에게는 문자 그대로 "시간"이 없습니다. 그 결과는? 아래와 같습니다. [인터넷거버넌스의 여성기술자 참여 증진을 위한 제도적 방안] 정말 많은 "여성" AI전문가들은 "행사"에 "불려가서" "시간외근무"를 강요당하는 것에 힘들어 합니다. 또 누군가는 유리천장을 느끼죠. 정말 잘 아는 전문가는 "내 분야가 아니야" 라면서 나서길 주저합니다.(중략)외로운 고민입니다. 우리는 어떻게 이런 훌륭한 여성 AI 전문가들에게 "대중성" 교육을 시켜드릴 수 있을까요. 그 분들께 희생과 부담을 강요하지 않으면서. 📬 익명의 구독자 님이 남겨주신 의견, 2024-04-03 AI영역 뿐만 아니라 다양한 기술분야에 대해 한쪽 성별에 편향될 수 있다는 의견은 지속적으로 제기되어 왔고, 일정 부분 동의하고 있습니다.하지만 본 아티클에서 아쉬웠던 점은 실제 업무에 투입되는 여성 인력이 부족함에도 불구하고 컨퍼런스 대표자로 할당해야 한다고 주장한 부분입니다.(중략)원론적으로 보면 여성 인력의 수가 적고 그렇기 때문에 그만큼 연설자 수도 적습니다. AI보다 큰 이공계 학과에 입학하는 여성의 수가 29.2%이고 그 중 일부만 AI를 전공합니다.가치관과 개인의 경험의 차이겠지만, 저는 컨퍼런스에 여성 연설자가 많아지는 것보다 AI를 전공하는 여성의 수가 늘어나는 것이 인식개선의 효과가 더 크다고 생각합니다. 변화는 조금 더 느리지만 갈등이 더 적을 것 같기도 하구요. (닭이 먼저냐, 달걀이 먼저냐의 싸움일수도 있겠죠)(후략) Re: ㅂㄱㅎ님과 익명의 구독자 님께 (by 🎶 소소) 두 피드백 모두 좋은 지적이고 공감이 됩니다. 이렇게 젠더 편향이라는 주제에 대해 섬세하게 생각해주시는 윤리레터 독자분들이 계셔서 감사합니다. AI 컨퍼런스 내 여성 대표성을 담보하는 것이 여성 연구자들의 자기 희생에 기반하지 않으려면 어떻게 해야 할까요? AI 업계에 종사하는 저에게도 강연 요청이 참 많이 옵니다. 업무 주제와 관련 없이 소속만으로도 섭외 요청이 옵니다. AI를 키워드로 한 컨퍼런스/세미나/강연이 다양한 기관에서 비슷한 주제로 열립니다. 과장을 더하면 한 달에 수십 개도 넘는 것 같습니다. 몇 안 되는 여성 AI 연구자의 경우 더 많은 강의 요청을 받으시겠죠? 그들 모두 본업이 바쁜 가운데 많은 강연에 참석하기 쉽지 않을 것입니다. 힘들지만 어떤 사명감으로 임하는 강연도 있겠지요. AI 컨퍼런스의 여성 연사자보다 AI 전공 여성 수가 먼저 증가해야 한다는 독자님의 의견에도 공감합니다. 궁극적으로 AI 전공 여성 수가 많아진 후에 여성 연사자가 늘어나는 것이 이상적이겠지요. 그러나 우리에게 다른 차별이 없는 상황을 가정하며 바라는 미래이고, 지금과 같은 과도기에는 반대 방향의 개입도 필요하다는 생각입니다. AI 컨퍼런스에서 보이는 여성 연구자의 모습이 미래의 여성 AI 연구자를 늘리는 데도 중요한 역할을 하기 때문입니다. 한 편으로는 전공자가 아니어도 AI를 이야기하는 여성이 더 많아져야 한다는 생각도 듭니다. 이미 AI 분야 전공자가 아니지만, AI 전문가로 연단에 서는 남성은 참 많습니다. 나는 전문가가 아니라며 나서길 주저하는 여성이 많다는 점도 한 몫할테지요. 그러나 전공자나 전문가만 AI에 대해 이야기해야 한다는 법도 없습니다. 우리에게는 전문가의 이야기 뿐만 아니라 다양한 관점의 목소리가 필요하기 때문입니다. AI 윤리 레터가 존재하는 이유이기도 하지요. 윤리 레터가 앞으로도 다양한 분들이 목소리를 낼 수 있도록 응원하겠습니다. 📬 또다른 익명의 구독자 님이 남겨주신 의견, 2024-05-06 (중략) AI 또는 기술과 관련된 용어를 정확하게 이해할 수 있도록, 용어 정의를 알 수 있는 링크 혹은 간략한 용어 정리 페이지가 뉴스레터에 포함될 수 있다면 좋겠습니다. Re: 익명의 독자 님께 (by 🤖아침) 읽기를 돕고 공통의 이해를 만들어갈 수 있도록 용어를 해설하는 것, 중요한 일입니다. 말씀해주신 것처럼 종종 필요해 보이는 경우에 용어 설명을 덧붙이고자 합니다. 좀 더 욕심을 부려보자면, 주요 용어가 잘 정리된 목록이나 사전 같은 것도 만들어보고 싶고요. 적절한 용어 설명을 제시할 필요성에 공감하는 한편, 뉴스레터를 쓰는 입장에서는 생각보다 고민이 되는 작업이기도 한데요. 약간 TMI지만 몇 가지 이유가 있습니다. 🦜AI 윤리 레터에서 어떤 용어(예를 들어 공학 개념이나 정책 개념)를 다시금 정의 및 설명할지의 판단: 가급적 읽기 쉬운 글이 좋지만, 동시에 이메일이 너무 길어지는 것은 피하려 합니다. 그래서 흔히 접하지 않는 용어 위주로 부연하고 있긴 하나 그것 역시 주관적인 판단이기 때문에 고민이 남습니다. 비슷한 맥락에서, 얼마나 자세하게 또는 쉽게 설명할지의 판단도 필요합니다. 급변하는 분야에서 용어를 정리하는 일의 현실적인 어려움: 학문이자 산업으로서 AI는 변화가 잦습니다. 심지어 ‘AI’가 무엇을 가리키는지조차 끊임없이 달라지고요. 이런 조건에서 다양한 용어를 일관된 방식으로 설명하기, 예전의 용례와 최근의 용례를 연결하기, 개념을 둘러싼 맥락이 달라질 경우 설명을 갱신하기 등 실행 차원에서의 고려사항이 있습니다. 하지만 바로 이처럼 변화가 많기 때문에 더욱더 적극적인 설명 작업이 필요하다는 말도 돼서, 진퇴양난이네요 😅 적절한 외부 자료의 부족: 외부 설명을 링크하는 것도 좋겠지만 한국어로 된 적당한 자료가 매번 있는 것은 아닙니다. 있어도 너무 난해하거나 사용하기 불편한 경우도 있고요. 굳이 참조한다면 위키백과나, 여러 출처를 모아 검색할 수 있는 네이버 지식백과 같은 것을 고려할 수 있겠습니다. 한국정보통신기술협회의 정보통신용어사전은 연관용어 그래프를 제공하기도 합니다. 여러 가지 핑계를 얘기했지만, 보다 친절하고 체계적으로 이해를 돕는 자료를 만들고 싶은 마음은 아주 강하게 있습니다. 좋은 아이디어 있으면 제안해주세요. 무엇보다, 가장 손쉬운 방법이 있어요! (저희가 별다른 링크/해설을 먼저 제공하지 않더라도) 궁금한 특정 개념, 내용에 관해 질문을 남겨주시면 가능한 선에서 답변드리도록 노력하겠습니다. 독자가 궁금해하는 지점을 알면 저희에게도 도움이 되니 어렵게 생각하지 말고 연락 주세요. 📬 ㅂㄱㅎ 님이 남겨주신 의견, 2024-04-17 "AI Alignment"라는 개념은 OpenAI 가 만든 개념어는 아닌 거 같아요. (참고) PPO, RLHF 정도는 OpenAI 가 만들었다고 해도 괜찮겠지만 AI Alignment 는 약간... <행성이라는 개념은 MIT 생명공학과에서 만들었다>처럼 느껴지는 거 같아요. Re: ㅂㄱㅎ 님께 (by 🧙‍♂️텍스) 제가 쓴 글에 대한 첫번째 피드백을 주신 분입니다~! 감사합니다. 오픈AI가 AI 정렬(alignment)란 개념을 유행시켰다가 조금 더 명확한 표현으로 보입니다. 오픈AI의 InstructGPT 논문에서는 딥마인드(Leike et el., 2018) 및 앤트로픽(Askell et al., 2021)의 에이전트 정렬 (Agent Alignment) 연구를 언급하며 GPT3의 정렬을 수행하기 위해서 기존 연구들(Christiano et al., 2017; Stiennon et al., 2020)에서 제안한 Reinforcement Learning From Human Feedback (RLHF)를 수행하였다고 이야기했습니다. 오픈AI의 기존 연구 성과를 보면 직접적으로 핵심 연구를 주도했다기 보다는 AI 분야의 연구 성과를 실제 프로덕트로 이끌어내는데 유능했습니다. 다만, 과거에는 프로젝트의 정보를 다양한 형태로 공개했던 오픈AI가 이제는 Closed AI가 되어서 아무 정보도 공개하지 않는다는 점에서 연구자로서 언제나 아쉬운 마음이 듭니다. #feedback 오늘 이야기 어떠셨나요?여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.

AI 윤리 뉴스 브리프 2024년 5월 넷째 주by 🎶소소 1. AI 서울 정상회의와 글로벌 AI 거버넌스의 주도권 지난주 한국-영국 공동주최 AI 서울 정상회의(AI Seoul Summit)가 열렸습니다. 지난해 영국 AI 안전 정상회의에서 시작한 AI 안전에 대한 논의를 지속하기 위해 세계의 주요 AI 인사들이 서울에 모였습니다. 각 국의 정상들은 서울 선언에 서명하며, AI의 안전과 더불어 혁신, 포용성까지도 조화롭게 고려하겠다는 데 뜻을 같이 했습니다. 평화로운 협력처럼 보이지만 다양한 국가의 이해관계가 복잡하게 얽힌 글로벌 AI 거버넌스를 만드는 것이 말처럼 쉽지는 않아 보였습니다. 모두가 AI 위험을 평가해야 한다는 데는 동의하지만, 어떻게? 에 대해서는 서로 생각이 다를 수 있습니다. 어떻게 AI의 성능과 위험을 평가할 것이며, 평가의 권한이 누구에게 있는가, 평가 결과는 누구에게 얼마나 공유할 것인가, 평가 결과에 따른 통제권은 누가 가져갈 것인가 등이 주요 쟁점이 될 수 있겠죠. AI의 평가권과 통제권을 주도하는 국가가 글로벌 AI 거버넌스의 핵심이 될 수 있겠습니다. 한국 정부는 이번 회의가 AI 안전에 더해 혁신, 포용까지 거버넌스 새로운 방향을 제시하는 장이 되었다고 자평했는데요. 글로벌 AI 거버넌스에 참여하는 주요국들이 자국의 이익을 위해 보이지 않게 경쟁하는 사이에서, 한국이 주도적으로 글로벌 AI 거버넌스의 이해관계자가 모이는 자리를 마련했다는 점은 높이 살만합니다. 그러나 사람이 많이 모이는 행사 한 번으로 주도권이 얻어지지는 않겠지요. 앞으로는 서울 선언에 서약한 것처럼 안전하고, 혁신적이고 포용적인 AI 생태계를 만들기 위한 정책적 실행이 더 많이 필요하겠습니다. 2. 열일하는 영국 정부와 AI 안전 연구소 영국 정부는 AI 서울 정상회의를 앞두고 요슈아 벤지오가 의장을 맡아 작성한 국제 AI 안전 보고서의 중간 버전을 발표했습니다. 미래의 AI에 대한 수많은 가설과 현재의 피해를 구분하고, AI의 역량과 위험에 관한 과학적인 증거를 제공하는 것이 보고서의 작성 목적입니다. 아직 전문가 간 의견이 합의되지 않은 AI의 발전 속도, 일자리의 위협, 통제력 상실 등 주제에 대한 서술도 흥미롭습니다. 기후보고서가 기후변화에 대한 과학적 증거를 제시하며 구체적인 논의의 기반이 된 것처럼 안전 보고서가 AI 안전 논의에 더욱 불씨를 지펴줄 것이라 기대합니다. 또한, AI 안전 연구소를 설립하고 활발한 활동을 이어가고 있습니다. AI 안전 연구소의 핵심 기능 중 하나는 ‘AI 위험 평가’ 입니다. 연구소는 AI 모델의 안전성 평가에 활용할 수 있는 AI 안전 평가 프레임워크를 오픈 소스로 발표하며, 이를 이용해 평가한 주요 AI 모델의 위험 성능을 공개했습니다. AI의 중대한 위험으로 꼽히는 생물/화학적 악용, 사이버 위협, 자율 수행능력 등에 대해 평가했는데요. 주요 AI 모델 모두 이용자의 탈옥(Jailbreak) 시도에 취약하며, 이미 생물학 및 화학에 대한 지식은 전문가 수준까지 제공할 수 있다는 평입니다. 그 외에도 샌프란시스코 오피스를 열고 미국과 캐나다와의 협업을 발표하는 등 네트워크를 넓혀가고 있습니다. AI 서울 정상회의에서 우리나라가 서명한 AI 서울 선언에도 AI 안전 연구, 평가를 위해 AI 안전 연구소와 같은 기관을 설립하거나 확장을 위해 노력하겠다는 내용이 있습니다. 우리나라 정부도 곧 AI 안전 연구소를 설립하겠다고 밝혔는데요. 우리나라 정부도 하루 빨리 주도적으로 AI 모델을 평가하고 그 결과를 통제할 수 있는 역량을 갖추게 되기를 바랍니다. 3. AI와 사랑에 빠지게 만드는 목소리 따라하기 챗GPT 음성 중 ‘스카이’ 버전이 영화 ‘HER’에서 남자가 사랑에 빠지는 AI '사만다'의 목소리와 흡사하다는 게 이슈가 되었습니다. 사만다의 목소리를 연기한 스칼렛 요한슨 입장문에 따르면 오픈AI가 지난해 자신에게 목소리 제공을 제안했고, 이를 거절했다고 하는데요. 대중의 비판이 일자 오픈AI는 스카이 버전의 목소리를 비공개로 전환했습니다. 오픈AI에 따르면 스카이의 음성은 스칼렛 요한슨의 목소리가 아니며, 그녀의 목소리를 따라하려는 의도도 전혀 없었다고 합니다. 스칼렛 요한슨에게 연락하기 전에 이미 성우도 고용했다는데요. 고용된 익명의 성우 인터뷰에 의하면 영화 ‘HER’나 스칼렛 요한슨의 목소리를 따라해달라는 요청은 받은 적은 없었다고 합니다. 그런데 왜 오픈AI는 GPT-4o 발표 이틀 전에 스칼렛 요한슨에게 한 번 더 전화를 했을까요? 스칼렛 요한슨은 “모두가 딥페이크로부터 자신을 보호하려 고군분투하는 시기에 왜 오픈AI가 나와 비슷한 목소리를 썼는지 반드시 명확히 밝혀야 한다”고 말했습니다. 법적 문제는 없을까요? 목소리의 권리 주장을 위해서는 성우 목소리가 요한슨과 얼마나 동일한 지가 쟁점이라고 합니다. 아마 소송은 오래 걸리겠지요. 그런데 법적으로 문제만 없으면 괜찮은걸까요? 오픈AI 또한 음성 AI 활용 과정에서 개인의 목소리 사용을 보호하기 위한 정책이 필요하다고 언급했습니다. 아직 법으로 해결하지 못하는 AI의 부작용을 막는 것, 우리가 지금 AI 윤리를 이야기해야 하는 이유입니다. 4. AI를 이해하기 시작했다는 앤트로픽 앤트로픽이 AI 모델의 내부 작동 방식을 이해하는 데 상당한 진전이 있었다고 발표했습니다. 그동안 AI 모델, 특히 초거대 AI 언어 모델은 크고 복잡한 블랙박스로 여겨져 왔습니다. AI 모델이 응답이 어떤 원리에 의해 나오는지 정확히 설명할 수 없었기 때문입니다. 앤트로픽은 클로드 소넷(Sonnet)모델과 사전 학습(Dictionary learning) 기법을 사용하여 AI 모델이 특정 단어와 이미지를 처리할 때 활성화되는 내부 패턴을 발견했다고 합니다. 아래 그림처럼 금문교(Golden Gate Bridge)와 같은 단어 입력될 때 모델 내부에서는 어떤 단어와 개념이 활성화되는지 파악할 수 있게 된다고 하는데요. fMRI를 찍어보셨나요? 비유하자면, 특정 자극에 뇌의 어느 부위가 활성화되는 지 보여주는 fMRI처럼 특정 단어에 AI 모델 내부에서 어디가 반응하는 지 알 수 있게 되는 것입니다. fMRI가 뇌 연구에 널리 쓰이는 기술이 된 것처럼, 이번 연구도 AI 모델의 작동 원리를 이해하는 데 도움을 줄 것으로 기대됩니다. AI 모델을 작동 원리를 이해할 수 있게 되면, 모델의 결과를 더 잘 예측하고 설명할 수 있습니다. 잠재적인 위험을 미리 파악하고 직접 제어할 수 있게 된다면, AI 안전성도 크게 높일 수 있을 텐데요. 이렇게 AI를 더 잘 이해하게 해주는 연구가 계속 이어지기를 바랍니다. #feedback 오늘 이야기 어떠셨나요?여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.

연재 1주년을 맞아 새 사이트, 같은 마음 by 🤖아침 새 둥지에서 처음으로 인사 드립니다. 안녕하세요? AI 윤리 레터는 발행 1주년을 맞아 자체 웹사이트로 집을 옮겼습니다. 기존에 사용하던 스티비 뉴스레터는 기록용으로 남겨두되, 앞으로는 이쪽 사이트에서 뉴스레터를 발행합니다. 이메일을 받아보시는 입장에서는 크게 변하는 것이 없는 반면, 웹사이트는 몇 가지 달라지는 점이 있습니다. 태그별로 뉴스레터 모아보기 기능이 생깁니다. 본문에서 다루는 이해관계자 유형, 주제, 층위에 따라 필진이 태그 분류 작업을 할 예정이고, 연관된 글을 쉽게 찾아볼 수 있게 됩니다. AI 업계 젠더 편향 이야기처럼 별개 웹페이지로 발행한 내용도 하나의 사이트 안에 링크됩니다. 아직 이삿짐을 정리하는 중이라 단장이 덜 된 점 양해 부탁드려요. 정리되는 대로 또 공지하겠습니다. 뉴스레터 발행을 시작한 2023년 5월은 전해 말 공개된 챗지피티의 대중적 성공에 따른 열기와, 저명한 공학자 및 기업가가 서명에 동참하여 화제가 된 ‘거대 AI 실험 중단 공개서한’의 종말론적 전망이 기술 관련 대중 담론 안에서 상당히 많은 평수를 차지하고 있었습니다. 낙관론과 비관론이 결합한 하이프가 강력하게 작동한다는 점에서는 지금도 비슷하고요. 양극단으로 과대망상적인 기술적 비전을 배격하고, 현실에 입각한 비판적 관점으로 기술을 논의하겠다는 결의에서 뉴스레터를 시작했다…고 하면 그럴싸할까요? 하지만 솔직히 말하면, 뭐라도 하지 않으면 살짝 돌아버릴 것 같은 분위기 속에서 어떻게든 갈피를 잡고자 했던 몸부림에 가까웠던 것 같아요. 감사하게도 유능한 필진 동료와 열심히 읽어주시는 독자 여러분을 만나, 1년간 꾸준히 뉴스레터를 작성해 왔습니다. 그동안 AI 윤리 관련 데이터셋 및 도구뿐만 아니라 데이터 권리, 노동, 규제 및 거버넌스, 차별, 오정보, 감시, 폭력, 환경, 식민주의, 미래 비전 등을 넘나드는 이야기를 다루며, 필진 입장에서도 학습하고 생각을 발전시킬 수 있었습니다. 다양한 분을 만나 기술에 관해 토론할 기회를 얻기도 했습니다. 올해 1월부터는 디지털 시민 광장 캠페인즈를 통해 응원금을 받고 있습니다. 보내주신 금액은 서버 대여와 이메일 대량 발송 등 매월 발생하는 서비스 이용료로 사용합니다. 벌써 많은 분이 크고 적은 금액을 전달해 주셔서, 올해 남은 기간은 이용료 걱정을 하지 않아도 될 것 같아요. 이 자리를 빌려 감사의 말씀 드립니다. 앞으로도 상황이 허락하는 한 꾸준히 뉴스레터를 운영하며, 이론/기술/실천적 논의가 만나는 공간을 확장하고 AI 윤리와 기술 담론 커뮤니케이션에 기여하고 싶습니다. 그럼 잘 부탁드려요. 독자와의 (아주 느린) 대화 AI 윤리 레터 말미엔 항상 위와 같은 피드백 창구가 자리하고 있습니다. 1호부터 이번 1주년 특집호까지 단 한 번도 빠짐 없이 말이죠. 지난 1년 동안 20여 분께서 총 46개의 피드백을 주셨습니다. 메일을 76통 보냈으니 10번 중 6번은 저희가 회신을 받은 셈이네요! 독자분들께서 주신 피드백은 필진이 함께 있는 대화방에서 바로 확인할 수 있는데요. 보내주시는 응원에 다 같이 힘을 얻기도 하고, 또 다른 생각할 거리를 주실 땐 열정적인 토론이 이어지기도 한답니다! 경우에 따라 그다음 주에 바로 콘텐츠에 반영하여 뉴스레터로 발행하기도 했지만, 별도로 소개하거나 별다른 답변을 드리지 않은 피드백도 많았는데요. 1주년 특집호를 빌어 AI 윤리 레터 필진이 기억에 남는 피드백에 답장을 드리는 자리를 가져봅니다 🙂 📬ㅂㄱㅎ 님이 남겨주신 의견, 2024-05-08 자동차는 일정 규모 이상의 기업만 만들 수 있는 제품이지만, 생성 AI는 이미 비트코인 채굴용 컴퓨터 정도의 GPU 에서 학습도, 구동도 시킬 수 있는 시대에 접어든 거 같아요. "신뢰 : AI가 살아남기 위한 조건"에서 자동차와 AI 기술을 비유하는 것이 다소 위험하게 느껴지는 게 이런 지점인 거 같아요. 대기업이나 자동차 제조 전문 회사가 아닌 민간에서도 물론 자동차를 만드는 경우가 왕왕 있지만, "3D 프린터로 제작 가능한 총기" 수준에는 아직 이르지 못하고 있죠. 하지만 3D 프린터로 제작 가능한 총기는 이미 실존하고, 그렇기에 이러한 총기로부터 어떻게 사람들을 보호할 수 있는지에 대한 논의로 넘어가야 하는 상황이 되고 있는 것처럼 느껴져요. 생성 AI 기술도 현시점에서는 그런 관점에서 바라보아야 하지 않을까 생각합니다. Re: ㅂㄱㅎ 님께 (by 🍊산디) 무엇보다, 매번 좋은 피드백을 주셔서 감사합니다. 챙겨보고 있어요! 피드백 주신 내용은 크게 동의하는 내용이에요. 기업이든 개인이든 누구나 AI를 가져다가 ‘원하는 대로’ 쓰게 되었으니까요. AI 윤리는 AI 기업만의 것일 수 없습니다. ㅂㄱㅎ 님의 피드백을 핑계 삼아 기업 규제, 이용자 보호를 넘어선 AI 윤리의 필요성에 대한 제 생각을 이야기해 볼까 합니다. 기술을 활용해 초래된 해악이 누구의 책임인지 따지는 것은 어려운 문제입니다. 3D 프린터로 총기를 제작했다고 했을 때, 3D 프린터로 총도 제작할 수 있다며 위험 행동을 조장하거나, 불법성을 방조하거나, 침해 사실을 알고 있었음에도 관련 조치를 해태하지 않았다면, 3D 프린터 생산 기업을 처벌할 수는 없을 거예요. AI의 사례로 돌아올까요. 생성 AI 모델을 가져다가 이용자가 의도적으로 저작자의 저작권을 침해했다면, 처벌-책임의 논리로 보았을 때 이는 어디까지나 이용자 개인의 책임입니다. 사법 시스템은 처벌-책임의 논리를 구체화합니다. 미국 저작권법에서는 이를 의지적 행위(volitional conduct) 요건이 충족되었는지 확인합니다. 한국의 저작권법 역시 작위와 부작위, 고의와 선의를 구분하는 입증 과정을 거치죠. 하지만 저는 오늘날의 윤리는 처벌-책임의 논리를 극복해야 한다고 생각해요. 행위는 다양한 인간, 비인간 행위자가 영향을 주고받는 복잡한 네트워크를 이룹니다. 이것이 행위의 묘미이기도 한데, 내 행위의 범위와 규모를 예측할 수 없어 그렇습니다. AI 모델을 설계, 개발, 배포에 관여한 행위자와 그것을 이용한 행위자, 그것을 지켜보기만 한 행위자 모두 위험이 발생하는 행동에 직간접적으로 관여되어 있을 수 있습니다. 이런 상황에서 누구에게 ‘윤리적’ 책임이 있는지 특정하는 게 가능하기나 할까요. 특정되지 않으니 처벌-책임을 물을 수도 없습니다. “법적으로 아무 책임이 없다”는 말은 자칫 윤리적 회복에 필요한 논의를 가로막는 데 악용될 수 있습니다. 어떤 위해가 발생했을 때, 처벌-책임을 논하는 것과 별개로 우리에게는 위해를 초래한 행위 네트워크 구성원의 공적 선언이 필요합니다. 공적 선언은 공동체 내에 위해가 발생했음을 자각하고, 그것이 반복되지 않도록 하겠다는 의지를 구성원과 공유하는 행위입니다. 우리 모두에게는 이러한 공적 선언을 할 책임, 윤리-책임이 있습니다. 공적 선언은 강력한데, 단 한 명만 변해도 행위의 결과는 달라질 수 있기 때문입니다. 그것이 행위의 묘미입니다. 저는 좋은 공동체는 용서와 약속의 미덕을 갖추고 있다고 생각해요. 용서를 구하고 용서받고, 약속하고 약속을 신뢰하는 행위는 공동체가 집단으로서 과거를 받아들이고 미래로 도약하기 위해 필요합니다. AI를 만들고 사용하는 모두가 용서하고 약속하는 네트워크 위에 있습니다. 우리가 할 수 있는 것은 지리하게 반복되는 듯한 공적 선언을 매번 지치지 않고 반복하는 거라고 생각해요. 🦜AI 윤리 레터가 AI에 대한 공적 선언을 나누는 공간이 되기를 바랍니다. 📬spes 님이 남겨주신 의견, 2024-04-22 (중략) 일반적으로 윤리라고 하면 '부정문'으로 기술되어야 한다는 불문율이 있는 건 아닐까 하는 생각을 가지고 있는 것 같습니다. 그런데 만일 긍정문으로 바꾸어 본다면 어떻게 표현해볼 수 있을까 하는 지점이지요. 하지 말라고 하는 것 대신에 이렇게 하자는 강렬한 그림을 전체 지식사용자 공동체라는 캔버스에 그려놓는다면 어떻게 될까요?아마 우리는 그것을 비전, 혹은 가치, 덕 등으로 풀어서 부르기도 할 것 같습니다. 건물이 비교하자면 이런 것들은 기둥이 되려나요? 그렇게 본다면 우리가 부정문으로 표현하는 윤리적 염려는 성벽과 해자가 될까요? 아니면 건축물에 적용된 내진설계를 비롯한 각종 안전장치가 될까요? 그런 장치들이 제대로 작동하려면, 그 장치를 고안하고 실험, 검증, 설치, 사용, 유지, 보수를 수행하는 인간이 가지고 있는 효능감이 중요하지 않나 하는 생각이 들었습니다.윤리의식을 가졌기 때문에 이익을 경험한 예가 있다면 그 사람의 윤리의식은 효능감이라는 값을 가지고 있고 그 효능감이라는 값이 있기에 필요한 순간에 윤리의식이라는 메카니즘은 유효성을 가지고 작동할 겁니다. 그런데 윤리의식과 동전의 양면을 이루는 비전-가치-덕의 삼체라는 측면에서 우리가 가져야 할 효능감은 그럼 어떤 것일까 하는 질문을 던지게 됩니다. 이 둘은 최종 제품의 스펙이나 광고대행사의 언어로 표현되는 그런 그림과는, 상호 중첩되는 부분은 있을 수 있어도, 본질적으로는 전연 다른 측면에서 마련되어야 하는 것들이니까요.결국은 인간존재로서 개발자 내면, 개발자가 가지는 이상 속에서, 그 이상 속에 존재하는 세상에서 개발자가 가지고 싶은, 공유하고 싶은 효능감이 지금까지 경험해서 무의식이나 장기기억 속에 축적해 온 어떤 가정이나 신념체계보다 힘을 더 많이 가지게 된다면 지금의 A.I. 개발은 또 어떤 국면에서 달라질 수 있을까 하는 생각을 해보았습니다. 우리의 의식도 사실 많은 부분 무의식의 지배를 받고, 우리가 그리는 그림도 우리가 모르는 사이 우리 내면의 상태를 반영하고 있으니까요. 집단무의식의 발현에 있어서는 더더욱 그런 현상이 두드러지구요. Re: spes 님께 (by 💂🏻‍♂️죠셉) 멋진 댓글을 자르기 싫어 코멘트를 두 줄로 줄입니다. 긍정문으로서의 윤리, 건축의 비유, 효능감까지 제 고민의 궤적과 싱크로율 100%라서 놀랐어요. 커피챗 해주세요! 부디 연락을 🙇‍♂️ 📬ㅎㅂㄷ 님이 남겨주신 의견, 2024-04-25 4월 24일자 레터 내용이 너무너무너무 유익했습니다!! 특히 '강화학습이 강화하는 역사'라는 주제가 너무 흥미롭고 인상 깊었습니다. 항상 의미있는 주제들을 다뤄주셔서 감사합니다.한낱 평범한 고등학생인데 요즘 AI 윤리레터로 다양한 인사이트를 접하면서 무럭무럭 성장하고 있어요! 감사합니다....에디터분들 모두 제 스승님이세요!! Re: ㅎㅂㄷ 님께 (by 🥨채원) ㅎㅂㄷ님, 안녕하세요? 뉴스레터를 잘 읽고 계신다는 피드백을 남겨주셔서 감사합니다. ㅂㄷ님의 다정한 피드백 덕분에 얼마나 기쁘고 뿌듯했는지 몰라요! 저희 뉴스레터는 저를 포함한 필진들의 자발적인 사이드 프로젝트로 꾸려나가고 있고, 그렇게 본업 외에 시간을 쪼개서 작성하다보니 마감에 자주 쫓기곤 하는데요ㅎ 그러다 이렇게 희망찬 피드백을 들으니, 앞으로도 더 꾸준히 써야겠다는 다짐도 하게 되었습니다. 저 개인적으로는 학계의 사람들이나 이 분야에 종사하는 사람들과만 이야기할 것이 아니라, 제 친구들이나 가족들 같은 평범한(?) 사람들과도 AI 윤리에 관해 이야기하는 것이 중요하다고 생각해서 🦜AI 윤리 레터에 참여하게 되었어요. 대부분의 논의가 영어로, 미국이나 유럽 중심의 맥락에서 이루어지는 것에 비판의식을 가지고 한국어로 한국의 독자들과 소통하고 싶기도 했고요. 이러한 저의 동기가 마침 ‘강화학습이 강화하는 역사’에서 이야기하고 싶었던 주제와도 일맥상통하는 것이라 ㅂㄷ님의 피드백이 더욱 뿌듯하게 느껴진 것 같아요. 최근에 제가 존경하는 학자분과 이야기할 기회가 있었는데, 그때도 ㅂㄷ님의 피드백을 언급하면서 너무 뿌듯한 순간이었다고 자랑(?)했거든요? 그랬더니 그 분도 내가 어떤 영향력을 끼치고 있다는 걸 실감하는 것보다 더 기쁜 순간은 잘 없다며 공감해 주셨어요. 뉴스를 읽으며 자칫 체념하고 시니컬해지기 쉬운 요즘이지만, 같은 문제에 대해 고민하는 사람들과 소통하는 게 무력감을 극복하는 데에 큰 도움이 되는 것 같아요. 이런 과정에서 저희의 고민이 ㅂㄷ님의 성장에도 기여했다니 그저 기쁠 따름이고요… 앞으로도 레터 꾸준히 재밌게 읽어주시고, 더 궁금하거나 하고 싶은 이야기가 있으시다면 언제든지 또 연락해 주세요. 감사합니다! #feedback 오늘 이야기 어떠셨나요?여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.

AI 윤리 뉴스 브리프 2024년 5월 넷째 주 by. 💂죠셉 1. 수퍼얼라인먼트(Superalignment) 팀 해체 지난 한 주, GPT4o 공개와 영미권 최대 규모 온라인 커뮤니티인 레딧(Reddit)과의 파트너십 체결 뉴스 등 오픈AI 관련 뉴스가 많았습니다. 이 와중에 AI 윤리에 관심이 있는 이라면 심상치 않게 보았을 뉴스가 있습니다. 바로 오픈AI의 핵심 브레인이자 공동창업자였던 일리야 수츠케버의 사임 소식, 그리고 그가 이끌던 수퍼얼라인먼트(superalignment)팀의 해체입니다.  수츠케버는 지난 11월, 오픈AI의 방향성에 대한 의견 불일치로 샘 올트먼 퇴출을 주도했던 인물 중 하나였기에 사임 자체가 매우 놀랍지는 않습니다. 중요한 건 그와 함께 슈퍼 얼라인먼트 그 팀을 이끌어 온 얀 라이케 또한 수츠케버를 따라 사임한 정황인데요. 여러 매체에 따르면, 이 둘 뿐만 아니라 지난 달 해당 팀의 멤버 2인이 팀을 떠났던 것으로 보입니다. 그리고 며칠이 지나지 않아 오픈 AI는 해당 팀을 해체시켰습니다. 얼라인먼트(alignment)는 AI 시스템의 목적이 인간의 그것과 일치하도록 만드는 작업입니다. 오픈AI의 ‘슈퍼얼라인먼트’의 경우 ‘잠재적 초지능이 잘못된 방향으로 향해 걷잡을 수 없는 일이 생기지 않도록’하는 임무를 맡은 팀이었죠. 당사자들이 이유를 말해줄 수 없으니 팀의 해체에 대한 여러 추측들만 난무하고 있는 상황입니다. (가령 슈퍼얼라인먼트가 현실성 없는 걸 깨닫고 팀원들이 배에서 뛰어내린 게 아니냐는 추측.) 오픈AI는 20%의 리소스를 이 ‘미션’에 투입하겠다고 공언한 바 있는데요. 팀이 해체된 상황에서 앞으로 얼마나 이런 작업이 이뤄질 수 있을지는 회의적입니다. CEO인 샘 올트먼이 반도체 칩을 확보하기 위해 중동 국가들로부터 펀딩을 유치하는 등, AI의 전쟁에 승자가 되려 전력질주 하고 있는 상황에서 AI의 안전 문제에 목소리를 내던 내부 인사들의 이탈은 향후 오픈AI의 방향성에 의구심을 품게 만듭니다. 더 읽어보기 퇴출된 샘 올트먼, 돌아올까? (2023. 11. 20) 오픈AI 드라마의 회수되지 않은 떡밥 (2023. 11. 27) 2. 오픈AI의 NSFW 허용 정책 오픈AI가 NSFW(Not-Safe-For-Work: '업무 상황에서 적절치 않은')로 분류되어 그동안 금지해 온 콘텐츠를 제한적으로 허가하는 건을 재고 중이라고 합니다. 오픈AI의 설명에 따르면 NSFW는 매우 잔인하거나 에로틱한 콘텐츠, 욕설 등을 포함합니다. 오픈AI의 모델 리드 조안 장에 따르면, 딥페이크나 불법 정보, 타인의 권리를 해치지 않는 선에서 사용자들이 NSFW 콘텐츠를 책임감을 가지고 (responsibly) 생성할 수 있도록 최대한의 권한 부여를 검토 중입니다. 얼마 전 있었던 테일러 스위프트의 딥 페이크 사건 이후 AI를 사용한 성착취물 제작 문제가 사회적으로 큰 화두가 됐기에 더욱 논쟁적인 사안입니다. 뉴욕 타임스 또한 평범한 사진을 누드 사진으로 바꾸는(nudify) AI 앱들이 미국 학교 내 괴롭힘 이슈로 이어지고 있다는 점을 보도한 바 있죠. AI가 음란물 제작에 사용될 수 있다는 지적에 대해 오픈AI는 “포르노를 어떻게 정의하느냐에 따라 달라질 수 있다.’는 다소 모호한 답변을 내놓고 있는데요. 그러면서도 ‘NSFW 콘텐츠는 연령 제한을 걸고 잘만 관리되면 예술 작품 등에도 사용될 수 있다’는 입장을 보이고 있어, ‘안전과 유익(safe and beneficial)’을 미션으로 내걸었던 오픈AI가 자기모순에 빠졌다는 지적이 나오고 있습니다. 3. 반어법을 알아듣는 AI? AI가 무엇을 할 수 없는지를 이야기할 때 가장 많이 언급되는 게 감정의 영역이고, 그중에서도 인간의 유머 감각인데요. 유머의 핵심 요소 중 하나인 반어법, 즉 사르카즘(Sarcasm)을 AI에 학습 시키고 있는 팀이 있습니다. 네덜란드 흐로닝언 대학의 연구진은 미국 시트콤인 <프렌즈>와 <빅뱅 이론>의 장면 등을 활용해 ‘머스터드’라는 데이터셋을 구축 중입니다. 해당 시트콤에 대해 약 75% 정확도로 반어법을 골라낼 수 있다고 하네요. 인간의 언어 능력 중에서도 고차원적인 영역에 속하는 반어법을 AI가 구사할 수 있다면 인간과 더 자연스러운 대화를 할 수 있는 건 물론, 말의 뉘앙스를 파악해 혐오 발언을 걸러낼 수도 있을 것이라고 연구진은 기대하고 있습니다. 오늘 브리프의 키워드인 ‘얼라인먼트’ 관점에서도 흥미로운 소식인 것 같습니다. 반어법을 알아듣고, 사용하는 AI 챗봇과 어떤 상호작용이 가능할지, 지금으로선 상상하기 어렵습니다. 우리가 정말 원하는 건 ‘인간과 가까운’ AI인가요? 기계 학습과 자동화를 허용해야 하는 범위는 어디까지일까요? 이렇듯 명쾌한 답이 없는 회색지대야말로 우리가 ‘윤리’를 대화해야 하는 지점이 아닐까 합니다. 🦜AI 윤리 레터가 곧 이사갑니다. 뉴스레터 발행 및 관리를 좀 더 편리하게 하고자 자체 웹사이트를 만들고 있습니다. 새 웹사이트 주소는 https://ai-ethics.kr/이에요. 뉴스레터 발송인 주소 또한 현재의 stibee.com 이메일에서 postmaster@mg.ai-ethics.kr로 변경될 예정입니다. 물론, 캠페인즈 업로드는 계속되니 걱정마세요! 만약 뉴스레터를 구독하고 계시다면, 구독자께서는 따로 조치를 취하지 않아도 계속 받아보실 수 있으니 안심하세요. 다만 혹시라도 이번주-다음주 사이 뉴스레터가 제대로 들어오지 않는다면 스팸함을 확인하고 위 이메일 주소를 연락처에 등록해주세요. 고맙습니다. 오늘 이야기 어떠셨나요?여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요. 남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다. 

AI 안전을 넘어서는 AI 윤리의 필요성 by. 🤔어쪈 ‘AI 윤리 (Ethics)’보다 ‘AI 안전 (Safety)’이 훨씬 더 많이 보이는 요즘입니다. 물론 AI 안전이 새로운 용어는 아닙니다. 안전은 분명 AI 윤리 논의에서 빠질 수 없는 주요 가치죠. AI 윤리를 표방하는 유행어 역시 신뢰할 수 있는 (trustworthy) AI, 책임있는 (responsible) AI 등을 거쳐오긴 했지만, 안전한 AI가 거론되는 맥락을 자세히 살펴보면 단순히 표현만 바뀐 게 아니라는 생각이 듭니다. 단적으로 작년 11월 영국에서 열린 ｢AI 안전성 정상회의｣와 뒤이어 일어난 일들을 살펴볼까요. 당시 발표된 블레츨리 선언은 인권 보호, 투명성과 설명가능성, 공정성 등의 여러 가치를 언급하면서도 작금의 ‘프론티어 AI 시스템’에서는 특히 안전에 대한 우려가 크다고 천명했습니다. 이러한 기조는 다음주 한국에서 개최되는 후속 행사에서도 이어질 예정입니다. 2월에 착수한 <AI 안전 국제 과학 보고서>를 발표하고, AI 안전을 위한 국제 공조 방안을 논의한다고 하죠. 이미 영국과 미국은 발빠르게 AI 안전 연구소를 설립한 바 있습니다. 앞서 여러 차례 소개했던 백악관의 AI 행정명령 역시 안전을 가장 먼저 앞세우고 있죠. 기업들 역시 이러한 관심에 발맞춰 AI 안전을 강조하는 중입니다. 사실 엄밀히 말하자면 위와 같은 국제 협력이 착수되기 전부터 이미 AI 안전을 키워드로 홍보하고 있었죠. 현재 AI 분야에서 가장 주목받고 있는 오픈AI, 구글 딥마인드, 앤스로픽 등은 모두 회사 홈페이지에 안전을 내걸고 있습니다. 국내 기업 역시 마찬가지로 그동안 AI 윤리라는 이름 아래 보인 행보를 AI 안전을 위한 노력으로 재포장하는 모습입니다. 구글 딥마인드, 앤스로픽, 오픈AI 공식 웹사이트 갈무리 이토록 모두가 AI 안전에 신경쓰고 있다니, 정말 다행이고 또 환영할 일입니다. 그런데 잠시만요. 각국 정부나 기업이 말하는 AI 안전이란 무엇일까요? AI 안전에 집중된 논의가 놓치는 지점은 없을까요? AI 안전이 무엇인지 정의하기 위해서는 그에 상응하는 위험을 식별하는 작업이 선행되어야 하죠. 블레츨리 선언과 후속 논의를 살펴보면 크게 3가지 위험이 언급되고 있습니다. 요약하면 오작동, 악용, 통제 불가라고 할 수 있겠네요. 이러한 위험을 방지하고 AI 안전을 확보하기 위해 주로 채택되고 있는 방안은 ‘기술에 대한 연구와 평가’입니다. AI 안전 연구소를 설립해서 기술 인력을 확보하고, 기술 분야에서 앞서나가고 있는 AI 기업들과의 협력이 주된 방법으로 제시되고 있죠. 기업들의 AI 안전을 위한 활동 역시 기술에 초점이 맞춰져 있습니다. 최근 오픈AI가 그동안의 AI 안전 및 정렬(alignment)을 위한 노력의 결과물로 발표한 ‘모델 사양 (Model Spec)’을 살펴볼까요. 모델 사양은 AI 모델이 어떻게 행동해야 하는지에 대한 가이드라인입니다. 다시 말해 챗GPT가 어떤 질문이나 요청에 어떻게 답변하거나 하지 않을 것인지를 적은 문서죠. 예컨대 오픈AI의 AI 모델은 (방지하기 위한 것처럼 물어 대답을 유도하지 않는 이상) 범법 행위에 대한 정보를 출력해선 안되고, (설사 지구가 평평하다는 믿음을 가졌더라도) 이용자의 생각을 바꾸려 들면 안됩니다. 대다수의 AI 기업이 AI 안전을 위해 채택하고 있는 레드티밍(red-teaming)이라는 방법 역시 이와 결을 같이 합니다. 어떤 질문이나 요청에 생성형 AI 모델이 잘못된 출력을 하진 않는지 살펴보며 문제점을 찾는 레드티밍 기법은 AI 기술이 어떻게 기능해야 하는지에 주로 초점을 맞추고 있습니다. 지난 4월, 과학기술정보통신부 주최로 생성형 AI 레드팀 챌린지가 열리기도 했습니다.  하지만 AI 윤리 레터에서 다뤄온 문제들은 결코 AI 기술의 기능이나 사양에 국한된 논의만으로 해소되기 어렵습니다. 오작동하지 않고 악용되지 않는, 그리고 통제 불가능한 AGI 내지는 초지능이 아닌 ‘안전한’ AI 기술임에도 불구하고 위험을 안고 있거나 우려를 불러일으키는 사례가 많습니다. 월요일에 소개한 사업장 및 공공장소의 안면인식 출입시스템을 생각해볼까요. 모든 얼굴을 제대로 식별하고 회사나 경찰이 보안과 공공 안전을 위해서만 쓴다고 하더라도, 분명 그로 인해 위축효과라는 문제가 발생합니다. (안면인식 기술이 통제 불가의 AGI가 되진 않겠죠.) 기술을 우리가 갖고 있던 불편을 해소하고 문제를 해결하기 위해 도입하는 지극히 인간적이고 사회적인 방법으로 바라본다면, AI의 사양이나 어떻게 기능해야 하는지를 논하기 전에 어떤 문제를 풀기 위한 AI인지, 또 어떤 AI를 어떻게 개발해야 하는지를 물어야 하지 않을까요? AI 안전은 분명 AI 윤리 논의를 구성하는 주요 가치입니다. 하지만 안전한 AI를 개발하는 것이 곧 AI 윤리 논의의 종착점이 될 수는 없습니다. 안전하다는 게 무슨 의미인지와 같은 원론적인 질문까지 던지지는 않더라도, 누구에게 안전한지만을 묻더라도 AI 안전 역시 기술 그 자체에 대한 논의만으로는 확보되기 힘든 것임을 알 수 있습니다. AI 안전 확보를 위한 노력이 AI 윤리 논의에서 언급되는 다른 가치들과 함께 추구되기를 바랍니다. 댓글 🍊산디: 실제 정책적 논의 또한 구현된 기술 자체에 초점을 맞춰 이루어지고 있다는 생각이 들어요. 기술이 개발되는 과정과 방향에 대한 논의는 점차 뒷전이 되는 것 같구요. ‘윤리’라 하니 노잼으로 느껴질 수 있지만, 누가 어느 지점에 어떻게 개입할 것인가를 설계하는 건 흥미로운 작업인데 말이죠! AI 개발 무한 경쟁 속 윤리는 뒷전 by. 🎶소소  AI 기업들이 강조하는 AI 윤리는 실상 기업 내부에서 우선순위가 높지 않습니다. AI 기업들이 경쟁에서 앞서기 위해 끊임없이 더 빠르고 더 나은 성능의 AI 개발에 집중하고 있기 때문이죠. 경쟁 속에서 고객이나 윤리를 우선시하지 못하는 것이 현실입니다. 최근 구글과 마이크로소프트, 메타 등 주요 AI 기업의 개발자들이 이러한 반복적이고 무의미한 ‘쥐 경주(rat race)’ 속에 지쳐가고 있다는 보도가 있었습니다. 빅테크뿐 아니라 정부 AI 연구소, 스타트업할 것 없습니다. 미국만의 이야기도 아닙니다. 우리나라 상황도 마찬가지죠. 어느 한 회사가 새로운 AI 모델 성능을 발표하면, 바로 다음 추격이 시작됩니다. 상대 기업보다 먼저 AI 서비스를 발표하기 위해 불시의 기습 컨퍼런스도 마다하지 않습니다. 경쟁사에 집중될 이목을 우리 회사로 돌리기 위함이죠. 이렇게 치열한 경쟁 속에서 살아남기 위해서는 더 빠르게 움직여야 한다는 압박감은 서로를 옥죄고 있습니다. ChatGPT에게 시연자의 얼굴 표정을 읽어달라고 하는 모습(24:00), '구글 I/O' 하루 앞두고 GPT-4o를 기습 발표한 OpenAI 발표 화면 갈무리 이러한 무분별한 AI 개발 경쟁의 가장 큰 문제는 AI의 부작용을 고려할 시간이 없다는 것입니다. 개발 과정에서 충분한 평가와 검증이 이루어질 시간 없이 AI가 제품화되고 있기 때문인데요. 일례로 구글은 2023년 생성형AI 바드 시연에서 잘못된 답변을 내놓기도 했습니다. 이를 두고 내부 개발진의 “급했다. 망했다.”는 비판도 있었습니다. 구글은 이미지 생성AI 제미나이가 아이슈타인을 흑인으로 그리는 등 역사 속 인물을 유색 인종으로 표현한 오류에 대한 사과문을 발표하고, 해당 기능을 일시 중지하기도 했습니다. 한 엔지니어는 이러한 상황을 "비행기를 타고 가면서 비행기를 만드는 것과 같다”고 이야기했습니다. 엔지니어들에게 비판적 사고를 할 시간이 주어지지 않는다는거죠. AI 분야 연구자들은 몇 달 간 이어지는 긴급한 업무 일정 속에 번아웃을 경험하며 다른 직업으로의 전환을 고려한다는 이야기도 들려옵니다. 우리는 무엇을 위해 이토록 열심히 AI를 개발하는 걸까요? 이렇게 더 좋은 성능만 강조하는 풍토에서 AI 산업은 지속 가능할까요? 적어도 AI 개발자들이 AI 개발의 진정한 목적에 대해 생각할 수 있는 시간을 가질 수 있기를 바랍니다. AI 기술의 발전이 과연 누구를 위한 것인지, 그리고 그것이 우리 사회에 어떤 영향을 미칠지 말이에요. 오늘 이야기 어떠셨나요?여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.

AI 윤리 뉴스 브리프 2024년 5월 셋째 주 by 🤖아침 1. 스택오버플로의 태세 전환과 보복성 제재 스택오버플로가 오픈에이아이에 모델 학습용 API를 제공하기로 했습니다. 이에 반발한 이용자들이 자신이 작성한 질문·답변을 삭제·수정하자, 운영진은 해당 이용자를 차단하는 등 제재를 가했습니다. 적잖은 플랫폼이 축적한 데이터를 AI 개발용으로 판매하는 추세 속에서도, 개발자 지식 공유 커뮤니티로 큰 상징성을 갖는 스택오버플로의 이런 행보는 인터넷 생태계 변화의 중요한 사례로 남을 것입니다. 얼마 전까지도 해당 플랫폼은 생성형 AI 사용을 금지했고, ‘커뮤니티를 중심에 두겠다’고 선언했다는 점에서 이용자들의 배신감이 배가될 듯합니다. 스택오버플로 이용약관에는 이용자가 작성한 모든 콘텐츠를 플랫폼이 영원히 이용할 수 있으며 이는 철회할 수 없다는 조항이 있습니다. 이용약관을 지렛대 삼아 플랫폼이 이용자 데이터를 마음대로 활용하는 현상은 물론 새로운 일이 아닙니다. ‘남용약관’이 플랫폼 자본주의의 기본적 작동 방식이라고도 볼 수 있죠. 앞으로도 계속 보게 될 이 광경을, 일반 이용자는 그냥 받아들이는 수밖에 없을까요? 게임의 규칙을 바꾸는 게 가능할까요? 덧붙이는 글 🎶소소: 커뮤니티 정신을 강조하던 스택오버플로, 정말 실망이네요. 결국 커뮤니티를 만든 이용자들이 아니라 돈이 되는 커뮤니티만을 중요하게 생각한다는 점이 여실히 드러나네요. 더 읽어보기 데이터, 어떻게 팔아야 잘 판 걸까? ...팔아야 하는 걸까? (2024-03-25) 스택오버플로, ‘(사람) 커뮤니티가 AI의 미래다’ (2023-07-31) 2. 싱가포르 출판·문학계는 데이터 제공이 탐탁지 않다 싱가포르 출판·문인들이 출판물을 AI 데이터로 활용하려는 정부 기조에 반발하고 나섰습니다. 싱가포르 정부는 말레이어, 타밀어, 화어 등 싱가포르에서 사용하는 언어 데이터를 반영하는 자체 다국어 멀티모달 LLM*을 구축하려 하고 있습니다. 이 과정에서 문인들을 상대로 저작물을 학습 데이터로 활용하는 데 대한 의견 수렴을 했는데요. 의견 수렴 이메일에서는 해당 데이터가 ‘연구 목적’으로만 활용될 것이라고 명시하고 있으나, 이용에 대한 보상이나 저작권 보호 관련된 설명이 부족하다고 판단한 문인들이 상당수 거부 의사를 표한 것입니다. 저작권자 동의 없이 일단 모델을 구축하는 행태가 보편적인 분위기에서, 어떻게 보면 이 정도 의견 수렴도 정부 입장에서는 꽤 진취적인 행보라고 볼 수도 있습니다. 한편 결국에는 정부 마음대로 문화콘텐츠를 이용할 것이라는, 회의적인 의견도 기사에 등장하고요. 하지만 비영어권 데이터가 부족한 현실을 고려할 때, 장기적으로 출판·문인들의 신뢰와 협조를 얻는 일은 싱가포르 정부에게 생각보다 더 중요할지도 모릅니다. * 텍스트 모델을 기반으로 하되 여러 모달리티(modality)를 처리할 수 있는 AI 모델. 예를 들어 챗봇에 이미지를 주고 내용을 묘사하는 글을 출력하는 방식. 모달리티는 기호학에서 글/이미지/음악 등의 양태를 가리키는 용어인데, AI 맥락에서는 ‘데이터 형식’과 비슷한 뜻으로 이해할 수 있습니다. 3. 현대중공업 노사갈등과 미국 대학 시위의 연결고리 지난 4월, HD현대중공업이 설치한 협력업체 근로자 출입 관리용 안면인식 출입시스템을 노조가 철거하고, 사측은 노조 간부를 경찰에 고발했습니다. 사측은 보안 관리상 안면인식기가 필요하다는 입장이고, 노조는 기존 수단으로도 관리가 가능한데 안면인식은 노동자를 감시/통제하는 수단일 뿐이라며 맞서고 있습니다. 금속노조 현대중공업지부는 성명서에서 공공장소의 얼굴인식 기술이 가져오는 ‘위축 효과’를 지적합니다. 개인 추적이 용이해지면서 합법적인 집회·결사의 자유 행사를 꺼리게 된다는 것이지요. 사업장과 공공장소는 같지 않다고 말할 수도 있겠지만 위축 효과는 확실히 생겨날 것 같습니다. Photo byArthur Mazi on Unsplash 미국 각지 대학교에서는 이스라엘의 팔레스타인 학살을 반대하는 시위가 한창입니다. 대학 당국이 시위 진압을 위해 안면인식 기술을 보유한 경찰에 공권력 투입을 요청하는 상황에서, 참여자들은 신상 노출에 따른 괴롭힘을 피하고자 케피예나 마스크를 쓰곤 합니다. 감시 기술이 시민 활동에 미치는 영향을 드러내는 사례입니다. 이스라엘, 러시아, 홍콩… 지난 몇 해간 계속 보아온 현상이죠. 앞으로 현대중공업 노동 쟁의 참여자 색출에 안면인식 시스템이 활용되리라 상상하는 것도 어렵지 않습니다. 더 읽어보기 [스트레이트] 탈탈 털린 스마트폰..검찰 ‘디넷’과 빅브라더 (MBC, 2024-04-28) 4. 우리 회사 AI는 에너지 1등급일까? AI 기술의 환경영향에 관한 정량연구를 꾸준히 해오고 있는 허깅페이스 연구팀에서 “AI 모델용 에너지소비효율등급”(Energy Star Ratings for AI Models)을 마련한다고 합니다. 여러 AI 모델이 일정한 작업을 수행하는 데 소비하는 전력량을 측정하여 효율등급을 부여하고, ‘녹색 AI 리더보드’ 순위표를 운영할 예정이라고 해요. 한국의 에너지소비효율등급과 직접적인 연관은 없습니다. 데이터센터의 탄소배출, 냉각수 등 AI 기술의 막대한 환경비용을 지적하는 목소리가 커지고 있지만 모델의 환경비용 측정은 여러 이유로 쉽지 않습니다. 데이터 수집에서 모델 구축, 실사용을 아우르는 전 과정이 수많은 이해관계자와 인프라 사이에 걸쳐 있고, 기술 개발을 주도하는 기업 측에서 정보 공개를 꺼리기도 하지요. 과학적 근거는 비판에 힘을 실어줍니다. 위 연구는 하드웨어, 입력값, 설정값 등을 통제한 조건에서 AI 시스템의 작동을 비교하여 환경비용에 관한 양적 데이터를 만듭니다. 특정 용도에 최적화한 모델보다 (프롬프트를 조작해 다용도로 활용하는) 제로샷 모델이 같은 작업을 할 때도 훨씬 에너지 소모가 크다는 초기 실험 결과는, 현재 테크업계의 파운데이션 모델 구축 경쟁이 기후에 미치는 악영향에 대한 근거인 셈입니다. 궁극적으로는 끝없는 스케일 경쟁보다 효율적이고 친환경적인 기술을 중시하는 쪽으로 패러다임이 전환되기를 기대해 봅니다. 더 읽어보기 미래의 시간을 쓰는 우리 (2023-12-18) 이 주의 인물 카드: 사샤 루치오니 (2023-07-03) 오늘 이야기 어떠셨나요?여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.

세상에서 가장 유명한 윤리 딜레마 by. 🥨 채원 이런 밈을 보신 적 있으실까요? 단연코 현 시대에 가장 널리 알려진 윤리적 딜레마가 아닐까 싶은 트롤리 딜레마(광차 문제)입니다. 트롤리의 딜레마는 영국의 철학자인 필리파 풋 (Philippa Foot)에 의해 고안된 윤리학의 사고 실험으로, 1967년에 출간된 <낙태의 문제와 이중 효과 원칙 (“The Problem of Abortion and the Doctrine of Double Effect”)>에서 처음 소개되었습니다. 낙태 문제를 탐구하기 위해 들었던 예시인 이 사고 실험은, 이후에 수많은 윤리 문제를 연구에 사용되어왔습니다. 특히 자율 주행 차량의 윤리학을 다룬 모럴 머신 실험 (The Moral Machine Experiment)에 사용되어 AI 윤리에서도 널리 논의되어 왔죠. 모럴 머신은 온라인에서 누구나 참여할 수 있는 실험으로, 자율 주행 자동차가 직면한 다양한 도덕적 딜레마를 탐구합니다. 출시된 이래 233개국 이상, 4천만 건 이상의 결정을 모으며 꾸준한 관심을 받고 있습니다. 모럴 머신 실험은 2018년 네이처지에 실린 논문을 비롯하여 다양한 학술적 성과를 이루어냈습니다. 이러한 성공과 더불어, 트롤리 딜레마의 한계도 지적되고 있습니다. 트롤리 딜레마는 조금씩 변형하여 다양한 도덕적 의사 결정을 내리는 사고 실험을 하는 데 유용하긴 하지만, 한편으로는 AI 윤리의 논의대상을 물리적이고 기계적인 문제들로 제한한다는 것입니다. 베르겐 대학교의 마리야 슬라브코빅(Marija Slavkovik)과 같은 학자는 이러한 한계는 예컨데 온라인 상 콘텐츠 검열과 같이 정해진 수의 보기가 명확하게 없는 문제에서 극명한 한계를 보인다고 비판합니다. 두 가지 결정 중에 반드시 하나를 선택해야만 하는 이분법적인 접근을 요하는 트롤리 딜레마와 달리, 콘텐츠 검열의 경우 복잡한 스케일 안에서 미묘한 차이에 기반한 다양한 선택 중 하나를 결정해야 하는 경우가 대부분입니다. 예컨대 같은 아동의 사진이라도 아동을 대상으로 하는 성착취물와 전쟁의 참사를 드러내는 사진은 명백히 다른 함의를 가진다는 거죠. 복잡한 사회적 맥락을 고려하지 않고 기계적인 이분법적 잣대를 바탕으로 내리는 의사 결정에는 근본적인 한계가 존재할 수 밖에 없습니다. AI 윤리, 기계 윤리, 데이터 윤리 등 다양한 이름으로, 새로운 기술이 사회에 미치는 영향과 거기서 파생되는 새로운 문제들이 탐구되고 있습니다. 모럴 머신 실험은 한국에서도 AI 윤리 교육에 활용되는 등 활발하게 다루어져왔습니다. 다만 AI 윤리의 문제가 모두 트롤리의 딜레마로 치환될 수 없다는 점은 명심해야 할 것입니다. 혹시나 궁금하실 분들을 위해, 지난주 베를린에서 열린 2024년 기계+행동 학회 (Machine+Behaviour Conference) 중, <기계 윤리 예시: 앞으로 나아가기 (”Machine Ethics Examples: Moving Forward”)>라는 제목으로 마리야 슬라코빅 교수가 발표한 내용은 여기에서 다시 볼 수 있습니다. 신뢰 : AI가 살아남기 위한 조건 by. 🍊산디 막스 베버는 <직업으로서의 학문>에서 공학자가 아닌 일반인이 어떻게 자동차를 신뢰할 수 있는지 이야기합니다. 그는 자동차의 작동 방식을 알지 못하더라도 “원하기만 하면 언제든 ‘배울 수 있다’고 알고 있거나 또는 그렇게 믿고”있기 때문에 자동차를 신뢰할 수 있다고 생각했습니다. 자동차는 신비한 힘이 아니라 계산 가능한, 통달할 수 있는, 탈주술화되어 있는 도구죠. 베버의 관점에서 본다면, 일반인에게 AI는 신뢰할 수 없는 기술입니다. 미지의 ‘블랙박스’로서 AI는 이해할 수 없는, 주술과 같은 영역이기 때문이죠. AI의 탈주술화를 위해 전 세계 연구자들이 연구에 박차를 가하고 있습니다. 의사결정 과정과 이유를 설명할 수 있는 AI(explainable AI), 인간 윤리를 학습한 AI를 개발하려는 노력이 이루어지고 있죠. 이러한 공학적 접근은 AI 자체가 투명하고 윤리적이어야 신뢰할 수 있다는 관점에 입각합니다. AI 자체를 개선하려는 접근은 분명 AI의 신뢰 가능성을 높이는 데 도움이 됩니다. 하지만 기술 자체의 속성만으로 신뢰 가능성이 결정되지는 않습니다. 신뢰는 사회적 실체이기 때문이죠. 기술적으로 완벽하지만 사회적으로 믿을 수 없는 기술이 있을 수 있습니다. 반대로 엉성하다 못해 복장 터지는 기술임에도 불구하고 신뢰받는 경우도 많죠. 자동차 사례로 돌아가봅시다. 저는 자동차의 작동 방식에 별 관심이 없습니다. 그럼에도 불구하고 제가 특정 자동차 모델을 구매하기로 결정했다면 이는 1) 다른 사람들도 해당 자동차 모델을 구매했고, 2) 자동차를 제조한 기업의 과거 행동과 평판에 대해 알고 있고, 3) 자동차를 규제하는 법 제도가 존재함을 알기 때문일 것입니다. 사진: Unsplash의 Jason Leung AI 역시 마찬가지입니다. 인간-AI 상호작용에서 AI를 신뢰할 수 있는지에 대한 판단은 다른 사람도 해당 AI를 사용하는지, AI 제조사를 믿을 수 있는지, AI에 대한 법 제도적 장치가 마련되어 있는지와 같은 AI를 둘러싼 사회적 맥락을 함께 고려하여 이루어집니다.  인간의 윤리를 완전히 학습했다고 주장하는 ‘궁극의 AI'가 혹시라도 가능하고, 또한 등장할 수 있다 하더라도, 그것의 신뢰 가능성은 기술력에 의해 결정되지 않습니다. 사람들은 AI 기업이 어떤 노력을 보여주었는지, 이용자들과는 어떤 관계를 맺고 있는지, 관련 법제도의 정비 수준은 어떠한지를 따져 물을 거예요. 만약 신뢰할 수 없다면, ‘궁극의 AI’는 역사에서 사라질 겁니다.  이용자의 신뢰를 얻을 수 있는 AI가 인류와 함께 살아 남을 것입니다. 이것이 기업과 정부가 AI 윤리를 적극적으로 이야기해야 하는 이유입니다.   오늘 이야기 어떠셨나요? 여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요. 남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다. 

AI 윤리 뉴스 브리프 2024년 5월 둘째 주 by 🤔어쪈 1. AI가 읽는 AI가 쓴 자소서 어떤 내용의 글이든 막힘없이 휘뚜루마뚜루 써내는 생성형 AI 기술이 알게 모르게 깊이 침투한 곳이 있습니다. 바로 채용 시장입니다. 구직자 입장에서 구인 공고에 맞춰 수없이 많은 지원서를 써야 하는 번거로움을 줄여주니 마다할 리 없지요. 덕분에 기업들은 지원자 수가 훨씬 증가했다고 합니다. 이는 사람을 구하는 회사 입장에서 꼭 좋은 일만은 아닙니다. 서류 심사 대상이 많아진 만큼 검토 업무가 늘어났고, 심지어 지원서에 적은 내용을 면접에서 확인할 수 없는 경우도 종종 발생하고 있습니다. 때문에 생성형 AI로 작성한 서류를 탐지하기 위한 AI를 도입하는 중이죠. 한 국내 기업은 작년 하반기 자사 AI 서류평가 솔루션으로 분석한 약 27만 건의 자기소개서 중 11% 이상이 ‘챗GPT를 표절했다고’ 주장합니다. 95%의 정확도를 자랑하지만 22%의 오탐지율은 분명 낮은 수치가 아닐텐데요. 특히 오탐지된 지원서를 기업이 그대로 불합격 처리할 경우, 지원자 입장에서는 공들여 쓴 서류가 단지 AI가 썼다고 의심된다는 이유만으로 탈락하는 상황이 발생할 수 있습니다. 생산성을 높인다는 명목으로 도입한 AI지만 생산성 증대는 커녕 애먼 피해자만 속출하는 것은 아닐까 우려됩니다. 🦜더 읽어보기 교수님, 정말 AI가 아니라 제가 직접 썼습니다..! (2023-09-04) 뉴욕시, 세계 최초 채용 AI 규제 (2023-07-10) 2. (미국이 뽑은) 생성형 AI의 12가지 그림자 여러모로 미국의 AI 정책의 열쇠를 쥐고 있는 NIST (미 국립표준연구소) 에서 AI에 대한 4개 문서를 연달아 발표했습니다: 1) AI 위험 관리 프레임워크의 생성형 AI 프로파일; 2) 생성형 AI 및 파운데이션 모델의 안전한 소프트웨어 개발 프레임워크; 3) 합성 콘텐츠의 위험 완화 방안; 4) 글로벌 AI 표준 논의 참여 방안. 모두 작년 백악관이 발표한 AI 정책 행정명령의 후속 조치로, 미국 정부는 NIST에 AI 안전성, 보안성, 신뢰성 확보를 위한 가이드라인과 표준, 우수 사례 마련을 맡긴 바 있습니다. 이 중 첫번째 문서를 좀 더 살펴볼까요. 위험 기반 접근법 (risk based approach) 이 사실상 AI 규제의 방법론적 기준으로 자리잡으면서 AI의 위험을 어떻게 평가할 것인지가 관건이 되었습니다. 미국은 일찌감치 NIST에서 AI 위험 관리 프레임워크(Risk Management Framework; AI RMF)를 만들어 국제 표준을 제시하려고 하는 중이죠. 이번에 발표한 ‘생성형 AI 프로파일’은 AI RMF를 AI의 하위 분류 기술에 적용한 첫 사례 보고서입니다. 해당 문서에서 식별한 생성형 AI의 12개 주요 위험(허위 정보 및 유해 콘텐츠 생성, 프라이버시 및 지적재산권 침해 등)은 대부분 우리에게 익숙한 것들이지만, 첫번째로 화생방 및 핵무기 정보 제공 문제를 앞세운 것은 눈에 띱니다. 또한 NIST가 여러 종류의 위험을 어떻게 구분했는지, 또 해당 위험 완화를 위해서 어떤 조치가 필요하다고 언급하는지 미리 살펴보는 것만으로도 향후 AI 규제와 표준이 어떻게 자리잡을 지 예상해 볼 수 있을 것으로 보입니다. 3. AI 에이전트를 쓰고 싶지만, 대하고 싶진 않다면? 현재 AI 업계에서 가장 뜨거운 키워드를 고르라면 단연 ‘AI 에이전트 (agent)’일 겁니다. 최근 오픈AI CEO 샘 알트만 역시 최근 인터뷰에서 완성도 높은 AI 에이전트가 킬러 앱이 될 것이라고 언급했듯, 많은 기업이 생성형 AI 기술을 앞세워 AI 에이전트 개발에 여념이 없습니다. 하지만 소셜미디어의 봇 계정, 게임의 NPC (비플레이어 캐릭터), 고객센터의 ARS (자동응답시스템) 를 떠올려보면 AI 에이전트는 사실 새로운 것이 아닙니다. AI 에이전트는 지능형 또는 생성형 ‘행위자’로 직역되기도 하는데, 이는 곧 사람이 할법한 말과 행동을 대신할 수 있다는 의미를 함축합니다. 많은 AI 회사가 ‘당신이 [더 중요한 일]에 집중할 수 있도록 [특정 행위]는 AI에게 맡기세요’라고 속삭이고, AI 에이전트의 사용자에게 이는 분명 솔깃한 제안입니다. 하지만 기업도 사용자도 놓치기 쉬운 부분은 그 [특정 행위]가 AI 에이전트를 직접 마주할 다른 사람들에게는 [더 중요한 일]일 수 있다는 사실입니다. 🦜더 읽어보기 참을 수 없는 목소리의 가벼움 [전치형의 과학 언저리] (한겨례, 2024.05.02) 4. 더 이상 실존하지 않는 인류의 실존 위협 연구소 우리에겐 <슈퍼인텔리전스 (Superintelligence)>라는 책 저자로 유명한 닉 보스트롬(Nick Bostrom)이 이끌던 옥스포드 인류미래연구소 (Future of Humanity Institute, 이하 FHI) 가 문을 닫았습니다. 19년간 명맥을 이어온 것에 비해 다소 조용한 마지막이었습니다. 기존 홈페이지는 종료 안내와 검색창만 남긴 채 사라졌고, 조촐한 아카이빙 웹사이트만 남았습니다. FHI는 철학과 소속이었지만 특정 학문 분과보다는 비슷한 사상, 특히 효과적 이타주의 (effective altruism) 나 장기주의 (longtermism) 에 기반한 연구소였습니다. 연구소장 닉 보스트롬의 초지능 담론을 비롯한 인류에 대한 실존적/파국적 위험 (existential-catastrophic risk) 이나 인간증강 (human enhancement) 과 같은 주제를 비교적 일찍이 다뤄왔고, 특히 실리콘밸리의 주목과 후원 아래 초지능 내지는 AGI (인공일반지능) 의 위험 담론을 주도해왔습니다. 때문에 FHI에서 태동한 사상은 현재의 AI 안전과 AI 거버넌스라는 이름으로 AI 윤리 논의에 적잖은 영향을 미치고 있습니다. 하지만 AI 윤리 레터에서도 초기부터 지적해왔듯, 그 추종자들이 당장의 AI 기술이 가진 문제점 대신 먼 미래에 대한 사고실험에만 관심과 자원을 쏟도록 유도하고 있어 주의해야 합니다. FHI의 유산에 대해 비판적인 평가가 필요한 이유입니다. 🦜소식 그.래.서! 이번 5월 21일(화)부터 AI 윤리 북클럽은 <AGI 담론 비판>을 주제로 시즌 2를 진행합니다. AI 윤리 레터를 통해 종종 읽은 글과 논의한 내용을 전해볼게요! 오늘 이야기 어떠셨나요? 여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요. 남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다. 

뉴스를 읽다가 지쳐버릴까봐 쓰는 글 by. 🍊산디 AI 디지털 교과서 도입에 대한 MBC의 [집중취재]가 눈에 띄어 기대를 품고 읽기 시작했습니다. 🦜AI 윤리 레터에서도 소개된 바 있는 있는 이슈이지요. 이주호 교육부총리가 “우려를 충분히 잘 제어하면서 진행하면 전세계적으로 주목받을 것”이라고 말한 정책이기도 합니다. 초등학생을 대상으로 시행되는 AI 정책입니다. 무엇을 보호해야 하며 어떻게 보호할 수 있는지 더 많은 고민과 논의가 필요한 분야죠. [집중취재]라고 하여 그간 미진했던 논의들을 살펴보는 보도일거라 기대했지만, 아니었습니다. 빛나는 미래가 성큼 다가온 듯한 교실이 그려졌을 뿐, 학생들의 정보인권과 AI 디지털 교과서가 미칠 영향은 다루어지지 않았습니다. 다른 지면을 빌려 다루기도 했습니다만, AI 디지털 교과서에 대해 따져 물어야 할 질문이 참 많습니다. UNESCO의 <인공지능과 교육-정책입안자를 위한 지침>은 마침 교육 분야에 AI를 적용할 때 어떤 질문들을 따져보아야 하는지 다음과 같이 친절히 안내합니다. 학습 데이터를 윤리적으로 수집 및 활용할 수 있는 경계는 어디까지인가? 그 기준은 무엇인가? 학교, 학생, 교사가 데이터 수집을 거부하거나 대항할 수 있는 방법은 무엇인가? 인공지능의 처리 결과를 쉽게 알 수 없다는 것은 어떤 의미인가? 기업과 공공기관은 어떤 윤리적 의무를 지는가? 학생들의 일시적인 흥미, 감정과 학습 과정의 복잡성을 고려했을 때 인공지능은 어떠해야 하는가? 사진: Unsplash의Good Good Good AI 디지털 교과서를 담당하는 공무원과 교사, 기업 관계자 분들이 위 질문에 대한 답을 가지고 있는 것일까요? 설령 나름의 해법을 가지고 있다 하더라도 그 내용은 학부모와 학생들에게 공유되어야 마땅합니다. 만약 답을 찾아가고 있는 과정에 있다면, 그 과정 또한 공유되어야 합니다. 질문과 해법을 찾아가는 과정을 공개하는 것이 언론의 역할입니다. 많은 언론 보도는 AI가 가져올 경쾌한 미래를 그리는 데에 초점을 맞춥니다. 정부나 기업의 보도자료를 그대로 전하거나, 기술의 장점만을 부각하여 전하는 보도는 굳이 인용하지 않아도 숱하게 찾아볼 수 있습니다. 하지만 모든 보도가 AI 디지털 교과서에 관해 아무것도 묻지 않는 것은 아닙니다. 그리고 저는 제 역할을 해낸 보도에 더 많은 조명이 비추어져야 한다고 생각해요. 다음은 AI 디지털 교과서를 비판적으로 다룬 보도들 중 일부입니다. 국민일보는 교과서의 데이터가 엄밀히는 사교육업체에게 제공되며, 교육청 관계자들 사이에서도 이견이 있고, 의견수렴이 미진함을 지적합니다. 교과서 이용에 “동의하지 않는 학생의 수업을 어떻게 할 지는 검토해보지 않았다”는 교육부 관계자 인터뷰 내용을 인용하기도 했습니다. 경향신문은 AI 디지털 교과서 정책이 알고리즘 편향을 비롯해 AI 사용 시 발생하는 윤리적 쟁점을 충분히 다루지 않은 채 ‘속도전’을 치르고 있음을 비판했습니다. AI 디지털 교과서 도입에 대한 7명의 교사의 의견을 인터뷰한 내용을 소개하기도 했습니다. IT 조선은 AI 디지털 교과서가 클라우드 컴퓨팅 보안인증에서 난항을 겪고 있다는 사실과 함께 장애, 다문화, 기초학력 등 학생들의 다양한 특성을 고려한 보편적 학습설계도 중요한 문제가 될 것임을 지적합니다. [집중취재] 보도가 있었던 바로 다음날, MBC 역시 AI 디지털 교과서가 문해력을 해칠 수 있다는 우려의 목소리를 전했습니다. 이외에도 많은 언론인들이 문제의식을 안고 해당 이슈에 접근하고 있을 것입니다. 제가 소개해드리지 못한 보도도 많구요. 그러니 한국 언론인들은 문제의식이 없다고 비판하는 게 아니라, 언론 조직의 의사결정 과정과 보도 구성의 논리를 어떻게 개선할 수 있을지 고민해야 합니다. AI와 같은 기술을 다루기 위한 내부적인 가이드라인이 도움이 될 수 있을 겁니다. 만약 AI 보도 가이드라인을 논의하게 된다면 🦜AI 윤리 레터가 제시했던 ☑️ AI 하이프 뉴스 체크리스트가 도움이 되었으면 합니다. 퓰리처 재단이 ‘인공지능을 취재하는 언론인을 위한 스포트라이트 시리즈’에서 이야기하는 것처럼, 언론 또한 AI를 공개, 조사, 설명하는 책임을 집니다. 비단 AI 디지털 교과서뿐만 아니라 기술 정책 이슈를 다루는 과정이 보다 풍성한 물음으로 가득차기를 간절히 바랍니다. 🦜함께 읽으면 좋을 글 AI 교과서는 우리 아이 데이터 채굴기?(2024-01-29) 외부인의 'AI 디지털교과서' 단상(2024-02-21) 우주 정복과 영생의 꿈은 TBC! by. 💂죠셉 오늘 레터는 작년 여름 무렵부터 테크 커뮤니티에서 언급되기 시작한 화제의 단어로 시작해 보려 합니다. 바로 TESCREAL (‘테스크리얼')인데요. 저희 레터에서도 종종 언급되는 AI 윤리학자인 팀닛 게브루와 에밀 토레스가 처음 만들고 홍보해 온 이 단어는 Transhumanism (초인간주의), Extropianism (무한생명주의), Singularitarianism (특이점주의), Cosmism (우주론), Rationalism (합리론), Effective Altruism (효과적 이타주의), Long-termism (장기주의)라는 일곱 개의 이념을 통칭합니다. (*💂 각 개념을 설명/이해하는 게 오늘 레터의 목적은 아니니 링크 첨부로 대신합니다.) AI 윤리의 관점에서 TESCREAL이 흥미로운 이유는, 테크 업계의 거물들이 AI에 대해 취해온 입장에 대해 중요한 문제 하나를 지적하고 있기 때문입니다. 왜 그들은 특이점과 초지능의 등장으로 인한 인류 멸망 시나리오에 대해서는 열정적으로 발언하면서 정작 AI의 편향성과 환경문제와 같은 ‘당장 직면한 문제들’에 대해서는 침묵하는 걸까요? 게브루/토레스는 일론 머스크와 샘 올트먼을 비롯한 테크-유토피아 주의자 중 상당수가 사상적으로 TESCREAL 진영에 속해있다는 점을 지적함으로써 이에 대한 흥미로운 대답을 내놨습니다. 이렇게 설명해 볼게요. “머지않은 미래에 인간은 기계와의 결합을 통해 강화(enhanced)된 영생을 얻고, 수 조명의 ‘디지털 시민'들이 살 수 있는 가상 세계의 시민으로 살게 될 것이며, 나아가 우주 전체를 식민화(colonise)시켜 그곳을 무대로 무한히 뻗어나갈 것’이라는 믿음을 가진 사람을 만났습니다. 이런 이야기를 여러분께선 어떻게 받아들이실 것 같나요? 예상하셨겠지만 위 내용은 게브루/토레스에 의해 ‘TESCREAL 주의자들’로 언급된 사람들이 그리는 미래의 축약본입니다. SF 소설 혹은 음모론 같다고 생각할 수 있겠지만, 오래전부터 아주 많은 인터뷰를 통해 공개적으로 밝혀온 바 있죠. 인물 별로 조금씩 편차는 있지만, 머스크와 올트먼 뿐만 아니라 ‘초지능(super-intelligence)' 내러티브의 창시자인 닉 보스트롬, 그리고 ‘라이프 3.0’으로 명성으로 막스 테그마크 등이 지속해서 밝혀온 입장과도 접점이 있습니다. 범용 인공 지능 (AGI) 이들이 그리는 미래의 중심에는 AGI(Artificial General Intelligence, 범용 인공 지능)이 있습니다. AGI는 일반적으로는 ‘인간이 할 수 있는 어떤 지적인 업무도 수행할 수 있는 AI’로 정의됩니다. ‘범용'이라는 단어에서 알 수 있듯 그 활용 방법이 무궁무진할 것이므로 오픈AI를 비롯한 많은 이들이 공개적으로 지향하고 있는 업계의 ‘성배'와 같죠. 요즘 밈처럼 사용되는 ‘특이점'은 바로 AGI가 ‘초지능’의 수준에 이르러 인류에게 폭발적 지적 혁명을 가져오는 시점을 뜻합니다. 앞서 언급된 영생을 얻는 신인류, 가상 세계, 우주로의 진출 등 지금 인류의 지능으로는 불가능한 목표도 초지능의 출현과 함께 가능해진다는 것이죠. 게브루/토레스의 지적에 따르면 TESCREAL 주의자들은 위와 같은 초지능의 출현을 필연으로 상정한다는 공통점이 있습니다. 더 나아가 그 정도 지적 수준을 갖춘 AI가 만약 인간의 가치 및 세계관과 일치를 이루지 못했다면 어떤 참사가 일어날까? 라는 질문을 던짐으로서 아젠다를 선점하고 있다는 것이죠. 같은 ‘AI safety’를 이야기하지만 실상 바라보고 있는 곳은 현재가 아닌 먼 미래인 샘입니다. 이게 왜 문제라는 걸까요? 일단 AGI라는 목표 설정 자체의 문제가 있습니다. 실현 가능성이 확인되지 않은 AGI에 대한 ‘믿음'을 ‘필연’처럼 홍보하며 회사의 가치를 올리려는 시도도 문제지만, 게브루/토레스는 그 개발 과정에 있어 제대로 된 테스트가 불가능하다는 점을 지적합니다. 활용 가능한 케이스가 무한하다는 것은 반대로 말해 안전을 위한 검증이 필요한 경우의 수도 무한하다는 의미겠죠. 같은 맥락에서 AGI에 대한 이들의 비젼은 ‘과학적'일 수도 없다는 것입니다. 예측 불가능한 신적 영역을 목표로 할 게 아니라, 일단 테스트 해야 하는 경우의 수가 유한한, 한정된 범위의 업무만을 수행하는 ‘좁은 (Narrow) AI’ 개발을 우선으로 할 것을 제안하고 있습니다. 또 다른 문제는, 이들의 종말론적 비전이 현재 당면한 문제를 놓치게 한다는 지적입니다. 대표적으로 AI 모델을 구축하고 가동하기 위해 소비되는 막대한 에너지와 환경 문제가 언급되는데요. TESCREAL의 핵심 인물 격으로 지목된 닉 보스트롬과의 그간 주장을 요약한 다음 부분을 살펴보면 TESCREAL의 마지막 두 축인 ‘효과적 이타주의’와 ‘롱터미즘'이 그들의 비전에 어떤 사상적 근거를 제공하고 있는지 알 수 있습니다. "TESCREAL 주의의 관점에서 보면 ‘한계가 없는 지성’을 만들기 위해 투입되는 막대한 자원과 같은 환경문제도 AGI라는 유토피아의 가능성 앞에서 정당화될 수 있다. 보스트롬을 인용하자면 단기간의 ‘대규모 인간 학살마저도 우주로 나아갈 인간의 거대하고 영광스러운 미래를 생각하면 인류를 위한 작은 한 걸음'일 뿐이기 때문’이다." (*💂 효과적 이타주의는 공리주의 관점에서 다수에게 이득이 되는 결정을 내려야 한다고 말합니다. 롱터미즘도 마찬가지로 공리주의 관점에서 우리는 먼 미래의 신인류에 대한 도덕적 책임이 있다는 점을 강조하고요. 이렇게 둘을 포개면 현재의 인류가 손해를 보더라도 먼 미래를 위한 선택을 해야 할 당위성이 만들어집니다.) To infinity... and beyond? 지속 가능성과 기술 윤리를 '거짓말'로 규정하며 '유일한 가치는 무한한 성장뿐이다'라고 외쳤던 실리콘 밸리의 거물, 마크 엔드리슨의 테크-유토피아 선언문이 떠오르는 대목입니다. 이런 관점에서 보면 AI를 발판 삼아 영생과 우주라는 무한의 세계로 향하는 TESCREAL의 지향점은 그들의 논리적 귀결로서 자연스러워 보입니다. 하지만 우리의 일상과는 너무나 동떨어진 이 이야기를 마냥 무시할 수 없는 이유는, 그들이 오늘 우리 삶에 가장 큰 영향을 끼치는 기술을 선도하는 리더들이고, 실제로 그 미래에 초석이 될 사업을 조금씩 현실화 시켜나가고 있기 때문일 겁니다. (추신: 사실 게브루/토레스가 발표한 내용의 핵심은 TESCREAL의 뿌리에 우생학이 있다는 주장입니다. 우생학은 아우슈비츠 학살의 당위성을 나치에게 제공한 문제적 사상이자 유사 과학이죠. 그 사상적 뿌리로 인해 알고리즘이 가진 인종 차별과 소외 그룹에 대한 차별의 문제를 대수롭지 않게 여긴다는 점 또한 지적됐지만 지면상 생략했습니다.) 🦜함께 읽으면 좋을 글 AGI vs. 현실 (🦜AI 윤리 레터 2023-05-29) 오늘 이야기 어떠셨나요?여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.