AI 윤리 뉴스 브리프 2024년 11월 셋째 주by 🎶소소 1.AI 안전연구소 출범과 국가 간 패권 경쟁 한국 AI 안전연구소가 출범을 준비하며 초대 소장으로 김명주 교수를 임명했습니다. AI 안전연구소는 AI 안전성을 평가하고 AI안전성을 확보하기 위한 연구를 위해 설립된 기관입니다. AI 안전을 전담하는 기관이 설립되었다는 기대와 함께 제대로 역할을 할 수 있을지에 대한 우려가 제기되고 있습니다. 정보통신기술의 연구개발이 목적인 한국전자통신연구원(ETRI) 산하에 설립된 AI 안전연구소가 AI 안전 문제를 사회적 문제보다는 공학적 문제로 협소하게 정의할 수 있다는 것입니다. 조직 출범 이후에도 AI안전에 관한 공학-인문사회과학 학제 간의 협력을 강화할 수 있는 방향의 운영이 필요해 보입니다. AI 안전연구소는 AI 안전 정상회담 이후 영국을 시작으로 미국, 영국, 유럽, 일본, 싱가포르 등 세계 각국에 설립되고 있습니다. 다음 주에는 샌프란시스코에서 세계 AI 안전연구소 수장들이 한자리에 모이는 ‘국제 AI 안전연구소 네트워크’ 행사를 개최한다고 합니다. 글로벌 안전 표준 확립에 협력하고자 한다는데요. AI 안전이 기술적 안전성 문제를 넘어 국가 간 경쟁의 도구로 자리 잡아가는 가운데, 각국에서 자국 중심의 기술 규제를 선도하고자 하는 욕심이 어떻게 드러날 지 궁금합니다. AI 안전 협력 기조가 트럼프 정부 2기에서도 유지될지는 미지수입니다. 지난주 미국 대선에서 승리한 트럼프는 바이든 정부의 모든 AI 규제를 철폐한다고 언급한 바 있습니다. AI 안전을 지금보다 더 자국 인프라 보호와 타국 견제를 위한 도구로 사용할 가능성이 높습니다. 국가 안보에 위험이 된다며 화웨이 통신장비 수입을 금지하거나 엔비디아의 고성능 GPU의 중국 판매를 금지했던 것처럼요. 미국의 AI 기술을 보호하고 중국의 AI 산업 성장을 억제하기 위한 수단으로 AI 안전 또한 오용될 수 있는 것입니다. 이제 막 출범한 우리나라의 AI 안전연구소가 글로벌 경쟁 속에서 인간의 윤리적 가치 보호와 기술 진흥이라는 목적을 달성하는 데 충분한 역할을 할 수 있을지 지켜봐야겠습니다. 🦜더 읽어보기- 정체를 드러내는 각국 AI 안전연구소들(2024-10-21) 2.오픈AI의 저작권 소송 승소, 좁아지는 저작권자의 권리 오픈AI가 뉴스 웹사이트(Raw Story, AlterNet)에서 제기한 저작권 소송에서 승소했습니다. 법원은 뉴스 콘텐츠의 AI 학습으로 인한 구체적인 피해가 입증되지 않는다고 지적했습니다. 챗GPT가 뉴스 기사를 그대로 복제하는 것이 아니라 훈련 데이터를 기반으로 합성된 응답을 생성한다고 말이죠. 이는 오픈AI가 주장해온 공정 사용(fair use)를 지지하는 논리입니다. 또한 법원은 AI가 학습된 콘텐츠를 그대로 ’복제’해 생성했더라도 이를 오류로 간주하여, 오류가 수정되었다면 저작권 침해로 보지 않았습니다. 재판부는 오픈AI는 뉴욕타임즈와의 소송사례를 언급하며 뉴스 텍스트를 그대로 복제된 경우가 의도된 기능이 아닌 현재는 재현되지 않는 드문 오류라고 판단했습니다. 이제 기업은 ‘어떤 데이터를 학습하느냐(저작권 유무)’보다 ‘어떻게 생성물이 데이터를 그대로 복제하지 않게 하느냐’에 초점을 맞추게 될 것으로 보입니다. 이번 판결은 오픈AI 등 생성형 AI 기업을 대상으로 여러 저작권 침해 소송에도 영향을 미칠 것으로 보입니다. 지금까지 판결은 AI 학습으로 인한 저작권 침해 및 침해로 인한 피해 입증이 어렵다는 방향으로 흘러가고 있습니다. 이러한 판결이 지속된다면 저작권자의 권리 행사는 점점 더 어려워질 수 있습니다. 🦜더 읽어보기- 생성 AI와 창작, 그리고 창작자(2023-11-15) 3.X도 (동의 없이) 퍼가요~ 11월 15일부터 X의 이용약관 개정에 따라 이용자가 게시하는 모든 콘텐츠는 별도의 로열티나 동의 절차 없이 AI 학습 데이터로 활용할 수 있게 됩니다. 비공개 계정으로 올리는 글, 사진, 비디오 모두 X의 AI Grok에 학습될 수 있습니다. 이용약관에는 사용자가 AI 학습에 자신의 데이터 사용을 거부할 수 있는 옵트아웃 옵션이 명시적으로 언급되어 있지 않습니다. 현재는 데이터 사용 거부를 설정할 수 있지만 언제까지 가능할지는 알 수 없습니다. 많은 사용자가 X를 떠나기 시작했습니다. 그러나 사용자 데이터를 AI 학습에 사용하겠다는 플랫폼이 처음은 아닙니다. 메타(Meta)도 인스타그램과 페이스북에서 유사한 데이터 거버넌스 변경으로 논란이 되었습니다. 링크드인도 최근 별도의 고지 없이 사용자 데이터를 AI 학습에 활용했다가 사용자들의 분노를 불러일으켰습니다. 플랫폼들이 사용자의 데이터 권리를 위해 제공하는 옵션은 옵트아웃 정도입니다. 그나마도 옵트아웃을 위해서는 직접 설정하거나 별도의 양식을 제출해야 합니다. 아직 어떤 플랫폼도 사용자 데이터의 구체적인 보호 조치의 범위와 방식에 대해서는 명확하게 설명하지 않고 있습니다. 이것이 이용약관의 새로운 평균이 되는 게 아닌지 걱정입니다. 🦜더 읽어보기- 데이터, 어떻게 팔아야 잘 판 걸까? ...팔아야 하는 걸까?(2024-03-25)- AI 학습용 데이터 팝니다(2024-03-04)- 이용자 몰래 데이터를 활용하고 싶은 기업들(2023-08-23) #feedback 오늘 이야기 어떠셨나요?여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.

민주적 숙의를 돕는 ‘하버마스 머신’ by 🥨채원 민주주의가 건강하게 작동하기 위해서는 다양한 의견을 가진 사람들이 의견을 자유롭게 나눌 수 있어야 하고, 또 그것을 가능하게 하는 공론의 장이 필요합니다. 특히 이런 공론장의 중요성을 강조한 학자로는 독일의 정치철학자 위르겐 하버마스가 있습니다. 그는 ‘여론에 근접하는 어떤 것이 형성될 수 있는 사회적 삶의 영역’으로서의 공론장의 중요성을 강조하였습니다. 다양한 시민들이 참여하는 자유롭고 활발한 토론을 통해 공론장에서 여론을 형성하고, 또 이러한 합리적인 토론이 현대 민주주의의 위기 상황을 해결할 수 있다는 것입니다. 물론 사람들이 직접 광장에 모여 여러 사회적 안건에 대한 의견을 개진하고 토론하는 것은 현실적으로 쉽지 않습니다. 하버마스의 공론장 이론이 실현 가능한 정책이라기보다는 이상주의적인 이론으로 받아들여지는 이유이기도 합니다. 많은 시민들이 활발하게 참여할 수 있는 공론장을 형성하기 위한 현실적인 제약을 감안하지 않는다고 해도, 점점 양극화되고 부족화되는 현대의 소셜미디어 환경을 생각한다면, 나와 관점과 가치관이 다른 사람과 건강하고 생산적인 토론을 한다는 것 자체가 제법 이상적으로 느껴지기도 합니다. 서로 다를 뿐만 아니라 때때로 충돌하는, 다양한 의견을 잘 들어주고, 끈질기게 갈등을 중재하며, 결국에는 모두가 납득할 수 있는 합리적인 결론을 도출하는 토론은 어떻게 만들어낼 수 있을까요? 최근 사이언스지에 발표된 ‘AI가 민주적 숙의에서 사람들이 공통점을 찾는 것을 도와줄 수 있다’는 논문에서는 복잡한 사회적 정치적 문제를 토론을 중재할 수 있는 AI 모델, ‘하버마스 머신’을 소개합니다. 하버마스 머신은 서로 다른 의견을 가진 사람들의 토론 중 토론자들이 공유하는 공통점을 찾아 ‘그룹 성명서’를 작성합니다. 그리고 이렇게 작성된 그룹 성명서가 최대한 많은 토론자들의 지지를 받는 것을 목표로 합니다. 논문은 오천여명이 참여한 실험을 통해 하버마스 머신이 작성한 그룹 성명서와 인간 토론 중재자가 작성한 그룹 성명서를 비교하며, 토론자들이 하버마스 머신이 작성한 성명서를 일관적으로 선호했다고 밝힙니다. 또한, 추가적으로 실시한 외부 심사에서도 하버마스 머신의 성명서가 품질, 명료성, 정보성, 공정성 측면에서 더 높은 평가를 받았다고 합니다. 이러한 결과를 바탕으로, 본 논문은 AI를 사용한 민주적 집단적 심의에 대한 가능성을 시사합니다. 검색어 자동 완성이나 기계 번역, 요약 등에서 널리 사용되었던 언어 모델은 점차 복잡하고 고도화된 영역으로 활용 범위를 확장하고 있습니다. 요약이나 번역 등 각각의 기능을 따로 사용하는 것에서 나아가, 언어 모델이 갖고 있는 여러 기능들을 결합하여 새로운 가능성을 열고 있습니다. 예를 들어 구글의 노트북 LM은 복잡한 학술 논문을 단순히 요약하는 것이 아니라, 논문 내용을 이해하기 쉬운 팟캐스트의 형태로 변환하는 기능을 선보이기도 했습니다. 마찬가지로 하버마스 머신은 복잡한 글을 특정 목적(많은 사람들의 지지)을 위해 요약하여 토론을 돕는다는 점에서 이전의 기술로는 실현하기 어려웠던 가능성을 실현합니다. 물론 하버마스 머신이 민주주의가 대면한 문제를 해결한다거나, 하버마스가 주장한 공론장을 실현했다고 보기는 어렵습니다. 그럼에도 불구하고, 이 기술이 민주주의라는 공공선을 위해 사용될 수 있는 하나의 가능성을 제시한다는 데에 의의가 있습니다. 이러한 연구는 기술이 할 수 있는 것이 무엇이며, 또 이 기술로 달성할 수 있는 목적이 무엇인가를 고민하는 데에서 시작됩니다. 언어 모델이 잘 하는 것과 사회가 진정으로 필요한 것 사이의 공통 분모에는 또 어떤 것들이 있을까를 같이 고민해보면 좋겠습니다. #feedback 오늘 이야기 어떠셨나요? 여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요. 남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.

AI 윤리 뉴스 브리프 2024년 11월 둘째 주by 💂🏻죠셉 도널드 트럼프가 47대 미국 대통령으로 당선됐습니다. 공화당이 이미 과반수를 확보한 상원뿐만 아니라 (11월 10일 기준) 하원 장악까지도 매우 유력한 상황에서 트럼프 집권 2기의 각종 정책은 이전보다 더 거침없이 실행될 것이라 예상되는데요. 오늘 브리프에서는 트럼프 정부의 향후 AI 정책에 대한 다양한 분석을 갈무리해 보겠습니다. 바이든 정부의 레거시 바이든 정부의 AI 정책은 2023년 10월 AI 행정명령(AI Executive Order)을 통해 구체화 됐습니다. 법적 구속력을 가진 연방 차원의 AI 규제로서 헬스케어부터 지적 재산권까지 다양한 영역을 다루며, AI 모델의 훈련과 테스트 과정의 공개 및 딥페이크 콘텐츠 워터마크 표식 등 투명성과 안전을 강화하는 내용을 담고 있습니다. 이 외에도 AI 안전 연구소(AISI)의 설립 등 전체적으로 사회적 영향과 윤리성을 고려한 AI 개발을 기조로 해온 것으로 평가됩니다. 특히 지난달 바이든이 서명한 최초의 AI 국가안보 각서(Memorandum)의 경우 국가 안보 기관들의 AI 사용이 누군가의 안전 혹은 권리를 침해할 때에 대한 구체적 가이드라인을 제시합니다. 가령 미국 보훈부(Department of Veterans Affairs)가 산하 병원에서 진단 목적으로 AI를 사용하길 원한다면 해당 기술이 특정 인종에 편향된 결과를 내놓지 않는다는 점을 먼저 증명해야만 합니다. 어떻게 바뀔까: 주요 쟁점 혁신이 최고? 트럼프와 그의 측근들은 현 정부의 지나친 AI 규제가 혁신을 저해하고 있다는 입장을 여러 차례 밝힌 바 있습니다. 실제로 트럼프가 대통령직을 수행 중이던 2020년 연방정부 대상으로 전달한 가이드는 ‘혁신과 성장을 저해하는 규제를 피하고 AI 발전을 가로막는 장애물을 줄일 것’을 권고했습니다. 이런 맥락에서 ‘바이든의 AI 정책을 되돌릴 것’이라는 트럼프의 공약은 규제의 철폐 혹은 최소화로 이어질 가능성이 높아 보입니다. 그러나 이에 대한 트럼프 최측근들의 다양한 입장은 변수입니다. 가령 규제의 완전 철폐를 주장하는 마크 엔드리슨 (미국 최대 규모 벤처캐피털인 a16z의 수장), 기술의 빠른 발전에 대한 우려를 표해온 터커 칼슨(대표적 친트럼프 방송인), 빅테크 독점을 무너뜨리려는 J.D. 밴스 (부통령 유력), 그리고 기술 발전을 옹호하면서도 AI로 인한 존재론적 위험을 경고하는 일론 머스크 등이 있죠. 새 행정명령이 언제 어떻게 발표될지 현재로서는 알 수 없지만, 바이든의 AI 정책이 백지화되더라도 별도의 가이드가 제공되기 전까지는 기존 연방 기관들은 자율성을 발휘해 바이든 정부 시절의 AI 거버넌스를 이어갈 수 있습니다. 표현의 자유? 앞서 언급한 다양한 입장의 인물들이 모두 동의하는 지점이 있습니다. 테크 크루즈 상원 의원 등을 중심으로 바이든 정부 AI 정책에서 핵심적인 역할을 하는 NIST(미국 국립표준기술연구소) AI 안전 기준이 형평성과 공정성(equity and fairness)을 지나치게 추구하다 좌편향 되었다는 비판이 제기되어 왔는데요. X에서 퇴출당한 이후 ‘표현의 자유’를 지속적으로 언급해 온 트럼프의 AI 정책은 정치적 올바름을 반영해 온 기존의 정책과 반대 방향으로 향할 가능성이 높아 보이며, 심지어 행정명령을 통해 ‘정치적으로 편향’된 알고리즘의 수정을 강제할 수 있다는 예측까지 보입니다. 주 단위 AI 정책의 심화 가능성 캘리포니아의 경우 기업이 AI 훈련 데이터와 방법 등을 공개하도록 강제하는 다양한 AI 안전 법안을 제정했으며, 이외에도 AI 기술로 인한 성우들의 피해를 최소화하기 위해 움직이고 있는 테네시주, 그리고 고위험으로 분류되는 AI 시스템의 경우 예상 가능한 알고리즘 차별 위험(foreseeable risks of algorithmic discrimination)을 공개하도록 주법을 제정한 콜로라도 등, 이미 주 단위로 다양한 AI 규제 프레임워크가 만들어지고 있습니다. 트럼프가 바이든의 행정 명령을 백지화하면 이미 주 단위로 진행되고 있는 AI 정책이 더욱 파편화되어 복잡성이 증대될 것이라는 예측입니다. 불확실한 오픈 소스 AI의 향방 예측이 특히 어려운 영역입니다. 오픈 소스는 미국이 우호적이지 않은 국가들이 이용할 수도 있다는 점에서 자국 중심 경제 성장을 공공연하게 주장해 온 트럼프의 방향성과 상충합니다. 하지만 부통령 임명이 유력한 J.D. 밴스는 소수 빅테크의 독점을 반대하는 입장을 가지고 있으며 오픈 소스 AI를 옹호하는 발언을 여러 차례 해왔습니다. 무엇보다 이번 선거에서 트럼프를 공개 지지하며 당선에도 일조한 것으로 평가되는 일론 머스크의 프로젝트인 xAI에서 개발하는 AI 모델 Grok이 오픈 소스를 지향한다는 점에서 향방을 예측하기가 쉽지 않아 보입니다. 윤리적 AI와 이를 위한 규제 프레임워크는 당파성을 초월한 전 지구적 과제입니다. 전속력으로 돌진하려는 기업들과 정부, 학계, 시민사회 사이 균형을 맞춰가는 일은 트럼프가 아닌 누가 당선되었어도 어려운 과제였겠죠. 그런데 기사를 검색하던 중 지난 7월, 트럼프의  측근들이 당선 전부터 이미 맨하탄 프로젝트의 자율 무기 버전을 현실로 만들기 위한 행정 명령을 퇴고 중이었다는 워싱턴 포스트 기사가 눈에 띕니다. 다가올 미래의 서막이 아니길 간절히 바랍니다. AI 안전을 최우선 가치로 홍보해 온 앤트로픽이 팔란티어, 아마존 AWS와 함께 군용 AI 개발을 시작한다는 뉴스가 보도된 이번 주였기에 더더욱이요. 🦜더 읽어보기- ai-정책-행정명령으로-먼저-깃발-꽂는-미국 (2023-11-08)- ai-행정명령에-담긴-불균형한-목소리 (2023-11-13)- 캘리포니아 주지사: ‘규제는 필요하나, 이 법안은 아니다.’ (2024-10-07) #feedback 오늘 이야기 어떠셨나요?여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.

알파고가 지나간 자리 by 💂🏻죠셉 지난 11월 1일, 서울대학교 인공지능 ELSI 연구센터에서 주최한 <인공지능과 창의성의 미래> 특강에 다녀왔습니다. 평일 낮에 대학교 강의실을 십수 년 만에 다시 찾은 이유는 이날의 연사가 전 프로 바둑 기사, 이세돌 사범(이하 이세돌)이었기 때문이었는데요. 2016년 알파고와 이세돌의 대국은 AI 역사를 되짚는 콘텐츠라면 국내외 가리지 않고 빠짐없이 언급되는 역사적 순간이기에 8년이 지난 지금, 당시 모든 것의 중심에 있었던 그의 현재 생각이 무척 궁금했습니다. 후술하겠지만, ‘알파고 이후의 바둑’에 주목해야 하는 이유가 있습니다. 생성형 인공지능이 촉발한 변화들과 맞물려 세상이 어떻게 변화할 것인지 추측만 난무한 상황에서 바둑은 이미 그 변화를 겪은 영역이기 때문이죠. 일종의 케이스 스터디인 셈입니다. 이세돌의 바둑 알파고 대국으로부터 3년 후인 2019년 은퇴를 선언한 이세돌의 근황과 알파고 대국과 관련된 각종 비화도 흥미로웠지만 (비슷한 내용이 담긴 구글과의 인터뷰 영상), 이날 많은 사람들에게 각인된 표현은 ‘예술로서의 바둑’이었을 것 같습니다. 그는 바둑 역사에 남을 ‘명국’을 남기는 것이 끝내 이뤄지지 않은 자신의 꿈이었다고 회고합니다. 그런데 이 명국은 혼자서 만들 수 있는 것이 아니며, 바둑판을 두고 마주 앉은 두 사람이 극도의 집중력을 발휘하는 가운데 서로를 향한 존중과 배려를 한 수, 한 수에 담을 때만 가능합니다. 즉, 바둑은 대국 중 주고받는 의도의 교환, 그리고 교감을 통해 완성되는 2인 예술이라는 것이죠. 대국 이후 나뉘는 승패가 전부는 아니라는 말도 덧붙였습니다. 예술에는 정답이 없기에, 불확실성 앞에서 자신만의 길을 개척해 나가는 과정이 그 자체로 누군가에게는 영감이 되며, 목적이 된다는 의미겠죠. 지난 8년을 회고하는 이세돌은 인공지능에 대해 다소 복잡한 심경을 가진 것처럼 보였지만 그 와중에 주된 감정은 슬픔과 아쉬움이라는 인상을 지울 수 없었습니다. 특히 그를 ‘바둑에서 인공지능을 이긴 마지막 인간’으로 남게 한 제4국이 바둑에 대한 회의감을 심어줬다는 점이 큰 아이러니였죠. 알파고의 버그를 유도하려는 목적을 가지고 둔 제4국은 오로지 이기기 위한 바둑이었고, 그간 자신의 바둑 철학을 부정하는 결과를 낳았다는 것입니다. 하지만 3년 후, 바둑 기사로서 최전성기에 있었던 이세돌이 다소 이른 은퇴를 결심하게 된 결정적인 이유는 알파고 이후 바둑에 찾아온 변화 때문이었는데요. ‘더 이상 내가 알던 바둑이 아니었다’고까지 표현한 변화는 대체 무엇이었을까요? 알파고 이후의 바둑 2016년 이후 바둑은 많은 부분에서 이세돌이 그것을 예술이라 여긴 이유와는 반대로 전개됐습니다. 이제 프로와 아마추어를 막론하고 모두가 쉽게 접근할 수 있는 AI 프로그램을 통해 바둑을 배우는 게 당연해졌습니다. 저도 초등학교 시절 4년 정도 바둑을 배웠는데요. 당시 유명 바둑 기사의 대국이 기록된 ‘기보’ 전체를 외우는 방식으로 공부했던 기억이 납니다. 반면 이제 바둑을 배우려 하는 사람 영감의 원천은 AI의 연산 능력에 기인합니다. 바둑 전설들의 기보를 모두 학습한 AI가 승률을 가장 높여주는 한 수를 계산해 주니까요. 자신이 고뇌하며 둔 한 수가 누군가에게 영감이 되길 바랐다는 이세돌이 회의를 느낀 지점이 여길 겁니다. 배움의 과정이 매우 지난한 걸로 유명했던 바둑의 장벽이 낮아지며, 이제 AI의 훈수를 기계적으로 암기하면 누구나 비교적 단기간에 일정 수준 이상의 실력을 쌓을 수 있습니다. 이론적으로는 꾸준히 쇠락의 길을 걷던 바둑 저변을 넓히는 데 도움이 될 수 있다는 시각도 있습니다. (통계를 보면 실제로는 감소했지만, 여기엔 여러 복잡한 요인이 존재합니다) 이제 프로 바둑기사의 랭킹이 인공지능과의 일치율과 정비례하는 시대가 열렸습니다. 현재 세계 바둑 랭킹 1위인 신진서 9단의 별명이 ‘신공지능’인 이유입니다. 바둑 기원을 통한 정규교육 대신 어린 나이부터 AI로 바둑을 배운 배경부터 말 그대로 인공지능 시대 바둑을 대표하는 인물이라 할 수 있겠습니다. 많은 이들이 이를 어쩔 수 없는 변화의 과정이라고 수용하면서도 한편으론 인공지능을 통한 학습이 획일화를 일으켜 개개인의 고유한 기풍(바둑을 두는 스타일)이 사라질 것이란 우려를 표하고 있습니다. 또한 딥러닝 기반의 AI는 통계적으로 승률이 가장 높은 수를 제안해 줄 수는 있지만, 왜 그런지를 설명해 주지는 못하기에 앞서 말한 ‘의도’에 대한 성찰이 부족한 암기 위주의 바둑만 남을 것이라는 지적도 있습니다. 여러모로 이제 바둑은 평생을 들여 정진해야 하는 예술보다는 (이세돌의 표현을 빌리자면) ‘마인드 스포츠’ 에 가까워진 것처럼 보입니다. 나가며 이세돌의 바둑이 알파고 이전의 바둑 전체를 대변한다고 말할 수는 없을 것입니다. 과거에도 누군가는 오로지 이기기 위해 바둑을 뒀을 수도 있듯, 앞으로의 누군가도 AI의 훈수를 받으며 바둑을 통해 자신만의 예술을 추구할 가능성도 배제할 수 없습니다. 알 수 없는 미래에 대해서는 어느 정도 열린 마음을 가질 필요가 있겠죠. 다양한 입장 차이는 결국 ‘바둑의 가치’에 대한 견해의 차이로 볼 수 있습니다. 어쨌든 바둑은 이미 돌이킬 수 없는 변화를 겪었고, 어느 날 찾아온 기술로 인해 진입 장벽이 급격히 낮아져 비교적 소수만이 이를 수 있었던 숙련의 경지가 모두의 것이 된 상황. 어쩐지 우리에게 낯이 익습니다. 생성형 AI로 인해 음악과 글쓰기, 디자인 등 예술 전반에 걸쳐 이미 일어나기 시작한 변화를 떠올리게 되죠. 어쩌면 이 모든 변화 속에서 우리의 고민이 필요한 건 ‘과정 없는 결과물’이 아닐까요? 비효율적 시간의 축적 없이도 AI의 도움으로 이세돌과 같은 위대한 바둑 기사를 이길 수 있게 되고, 한강 작가의 글을 한 번 읽어보지 않고도 그와 유사한 작품을 수천 개 생성해 낼 수 있다는 사실은 우리 자신에 대해 무엇을 말해줄 수 있을까요? 생성형 AI가 가져다준 편의와 전능감 너머 유실되는 가치, 경험들에 대해 다시 생각하게 되는 고마운 시간이었습니다. AI 안전에 대한 사회기술적 접근 by. 🤔어쪈 시간이 많이 지나긴 했지만, 지난 레터에서 저는 AI 안전에 대한 논의가 단일 AI 모델이 안전성을 갖추도록 하는 것을 넘어서야 한다고 주장한 바 있습니다. 당시 서두에서 다룬 칼럼 저자인 대런 애쓰모글루(Daron Acemoglu)는 그새 노벨경제학상 수상자가 되었고, 요즘 AI 업계 키워드라고 소개한 AI 에이전트(agent)는 이제 눈에 보이는 애플리케이션 단계로 나아가는 중입니다. 이 기술의 근간 원리는 여전히 ‘확률론적 앵무새’일지 몰라도, 기능적으로 특정 작업 또는 목표 수행을 위해 검색과 같이 별도로 구현된 API나 소프트웨어를 활용한다거나, 프로그래밍 코드를 직접 작성하여 실행한다거나, 아예 화면을 띄워놓고 가상의 마우스와 키보드로 컴퓨터를 사용하는 모습은 분명 ‘AI 에이전트’입니다. 당연하게도, 기업을 중심으로 AI 에이전트가 해낼 수 있는 일들과 그것이 가져올 변화에 대한 기대감이 커지고 있습니다. 하지만 앞서 나열한 것과 같은 AI 에이전트의 능력이 아무리 놀랍더라도, 이것이 단순히 AI 모델이 자체 역량만으로 수행하는 것이 아니라는 사실에 다시금 주목할 필요가 있습니다. 지금의 생성형 AI 붐을 일으킨 오픈AI의 챗GPT는 출시 당시 GPT-3.5라는 AI 모델에 대화형 인터페이스를 붙인 비교적 단순한 형상을 갖고 있었습니다. 앞으로 우리가 마주하게 될 AI 서비스에서는 더 이상 그와 같은 간단한 구조를 찾아보기 힘들 예정입니다. AI 에이전트가 제대로 작동하기 위해서는 훨씬 복잡한 시스템이 필요하기 때문입니다. 통상 이러한 맥락에서 시스템이란 다양한 기술적 요소로 구성된 복합체를 의미합니다. 예컨대 AI 시스템의 도식은 전공자나 IT 업계 사람이 아니라면 들어도 무슨 말인지 모를 단어로 가득차 있겠죠. 하지만 이와 같은 ‘기술 시스템’은 결국 사람들에 의해 만들어지고, 또 사람들을 위해 작동합니다. 사람들은 기술들을 개발하기 위해 각종 자원을 동원하고, 또 기술들을 이용하면서 그로 인해 여러 영향을 받기도 합니다. 요컨대 기술 시스템은 사람들이 살고 있는 ‘사회 시스템’과 결코 떼어놓을 수 없습니다. 모든 시스템은 사회기술시스템(sociotechnical system)입니다. AI 에이전트를 비롯한 AI 시스템 역시 마찬가지입니다. 그렇다면 사회기술시스템으로서의 AI 에이전트에 있어 AI 안전은 무엇을 의미할까요? AI에 대한 사회기술적 접근을 강조해 온 비영리 연구기관 Data & Society의 정책 디렉터 브라이언 첸(Brian Chen)은 <AI 정책이 사회기술적 관점을 필요로 하는 이유>라는 칼럼을 통해 이른바 AI 위험(risk)이 애초에 AI 기술, 특히 AI의 기술적 능력 또는 그 부족으로 인해서만 발생한다는 사고방식에서 탈피해야 한다고 주장합니다. AI 위험은 엄밀히 말해 기술과 사회의 접점(인터페이스)에서 발생하며, 따라서 이를 방지하기 위해서는 AI의 성능뿐만 아니라 기술을 둘러싼 노동 행위와 환경, 사회 구조와 관계, 의사결정권력의 작용 등의 사회적 역학 역시 충분히 고려해야 한다고 말합니다. 이전 레터에서 지적했던 대로, AI 위험을 방지하고 AI가 보다 이로운 방식으로 작동하도록 만들기 위해서는 기술적인 접근만으로는 부족합니다. 숱하게 제기된 AI의 위험성과 실질적인 피해에 대해 그동안 AI 안전이라는 용어 아래 제안된 대응 방안은 대부분 기술적인 보완책이며, 주로 AI 모델에 초점을 맞춥니다. 전세계 곳곳에서 설립되고 있는 AI 안전 연구소와 AI 기업들은 최신 AI 모델이 심각한 오작동 또는 악용, 통제 불가와 같은 위험 요인이 없는지 평가하고 기술 표준을 마련하는 일에 힘을 기울이고 있습니다. 하지만 이러한 AI 안전 관련 노력이 충분한지, 특히 AI 에이전트 애플리케이션이 등장하는 현재 맥락에서도 유효할지는 의문입니다. 지금까지의 생성형 AI 시스템은 대부분 챗GPT 출시 초기 때와 마찬가지로 인간 사용자와의 직접적인 상호작용 외로 별다른 인터페이스를 갖고 있지 않습니다. 물론 그것만으로도 청소년 정신건강에 부정적인 영향을 끼치는 사례가 발생했고, 부적절한 AI 생성 콘텐츠의 유포와 범람 역시 큰 문제로 대두되고 있죠. AI 에이전트는 구조 특성상 훨씬 다양한 인터페이스를 가집니다. ‘AI 모델-인간 사용자’를 넘어 훨씬 더 복잡하게 재편성된 네트워크 하에서는 AI 모델을 중심으로 마련중인 AI 안전 조치들이 무력해질 가능성이 높습니다. AI 에이전트의 활동 영역이 넓어질 수록 기술과 사회의 접점이 많아짐에 따라 보다 복잡다단한 맥락에서의 위험과 안전, 더 나아가 윤리 문제 역시 훨씬 자주 발생할 것입니다. 그런데 사실 우리는 이처럼 도저히 답이 없는 것만 같은 상황을 수도 없이 겪어왔고 또 헤쳐나가고 있습니다. 바로 정치라는 제도를 통해서 말이죠. 그 결과로 내놓는 정책은 완벽하진 않아도 이 사회가 어찌저찌 존속할 수 있도록 지탱하고 있습니다. 어쩌면 우리는 AI 안전 기술보다 AI 안전 정책에 더 관심을 가져야 하는 건 아닐까요? #feedback 오늘 이야기 어떠셨나요?여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.

1. 전기 먹는 데이터센터, 비용은 지역주민 부담? 구글, 아마존 등의 빅테크는 AI를 개발하기 위해 데이터센터 건설에 박차를 가했습니다. 데이터센터의 컴퓨터를 가동하고 냉각하는 데에는 엄청난 전기가 필요하죠. 문제는 늘어난 전기 수요를 기업이 모두 부담하고 있는 게 아니라는 점입니다. 미국에서 데이터센터를 유치한 일부 주에서 그로 인해 늘어난 전기 수요를 전기 가격 인상을 통해 지역 주민들이 감당하고 있는 것으로 보인다는 워싱턴포스트의 보도입니다. 사우스캐롤라이나의 사례를 볼까요. 사우스캐롤라이나는 구글 데이터센터 유치를 위해 53년간 재산세를 4%로 동결했습니다. 전기 또한 킬로와트시당 6센트로, 일반 고객에 비해 60% 저렴한 가격에 제공됩니다. AI 데이터센터가 지역사회에 경제적 이익을 제공할 수는 있지만 그 비용은 공공 서비스 비용, 세금 등의 형태로 지역 주민들에게 전가될 수 있습니다. AI 기업의 성장이 지역 주민들의 삶의 질을 저하로 이어지지 않기 위해서는 어떤 조치들이 필요할까요? 🦜더 읽어보기- AI용 전력이 부족하다고? 원전을 지으면 되지!(2024-06-17) 2.브로맨스는 끝나는가: 마이크로소프트-오픈AI 샘 올트먼은 마이크로소프트와 오픈AI의 관계를 두고 “기술 분야 최고의 브로맨스”라 했었습니다. 그리고 작년 11월 오픈AI 이사회의 해고로 올트먼이 쫓겨났을 때 마이크로소프트는 그를 두 팔 벌려 영입했죠. 결과적으로 올트먼은 5일만에 다시 오픈AI에 돌아갈 수 있었습니다. 하지만 뉴욕타임스의 보도에 따르면 오픈AI 내부에서의 ‘쿠데타’를 계기로 마이크로소프트는 오픈AI와의 관계를 재고한 것으로 보입니다. 이후 마이크로소프트는 오픈AI의 경쟁사인 인플렉션(Inflection)을 공동창업한 무스타파 술레이만(Mustafa Suleyman)을 고용하고 오픈AI를 감독하도록 했습니다. 오픈AI가 경쟁사 출신인 술레이만의 감독을 달가워할 리 없죠. 한편 오픈AI는 벤처 캐피털인 Thrive Capital 등으로부터 투자를 유치하는 데에 힘쓰고 있습니다. 그러나 오픈AI의 투자제안서를 분석한 뉴욕타임스는 오픈AI가 올해 50억 달러의 손실이 발생할 거라 평가했습니다. 또한 2029년에는 연간 375억 달러를 컴퓨팅 비용에 지출하게 될 것이라는 예측도 내놓았죠. 오픈AI의 비용 구조에서 가장 큰 부분은 단연 컴퓨팅 비용입니다. 마이크로소프트가 투자한 130억 달러는 대부분 마이크로소프트의 클라우드 컴퓨팅 비용으로 지출됩니다. 오픈AI는 자금과 컴퓨팅 파워를 마이크로소프트에 의존해왔는데, 마이크로소프트는 컴퓨팅 자원을 추가로 제공하는 데에 소극적인 태도를 보이고 있죠. 이것이 지난달 오픈AI가 펀딩 라운드를 통해 66억 달러를 조달한 이유입니다. 기업가치 1,570억 달러의 오픈AI도, 3조 1900억 달러의 마이크로소프트도 여전히 서로가 필요합니다. 하지만 독점적 관계에서 벗어나고 싶어하는 마음도 같죠. 이들의 관계는 어떻게 변화할까요. 인공지능 시장은 다극화에 도달할 수 있을까요. 3.중국, 오픈소스 AI 모델 라마(Llama)로 군용 챗봇 개발 중국 인민해방군과 연계된 연구기관인 군사과학원(Academy of Military Service, AMS)이 메타의 오픈소스 AI 모델 ‘라마(Llama)’를 활용해 군사용 챗봇을 만들었다는 사실이 처음으로 확인되었습니다. 라마 모델을 미세 조정하여 군사 분야에서의 대화와 질의응답에 최적화된 서비스를 개발했다는 것이죠. 실제 서비스되고 있는지 여부는 확인되지 않고 있습니다. 오픈소스로 공개된 라마의 라이센스에는 "군사, 전쟁, 핵 산업이나 응용 분야, 간첩 활동”이나 “폭력을 부추기고 조장하는" 무기와 콘텐츠의 개발이 금지된다는 내용이 포함되어 있습니다 (Llama Acceptable Use Policy). 하지만 라이센스를 따르지 않았다고 해서 메타가 이를 실질적으로 제한하기는 어렵습니다. AI 모델의 군사 목적 이용이 놀라운 일은 아닙니다. 이 소식이 ‘뉴스’가 되는 까닭은 AI를 둘러싼 미국과 중국의 패권 경쟁 속에서 미국에 소재한 기업이 개발한 오픈소스가 ‘적국’을 이롭게 했다는 데 있을 것입니다. 하지만 메타의 오픈소스 모델이 아니더라도 이미 중국은 자체적으로 군사 목적의 AI를 개발, 서비스하고 있을 가능성이 큽니다. 오픈소스를 통한 혁신의 공유는 제한되어야 하는 것일까요? 보다 중요한 문제는 중국을 비롯한 세계 각국의 군사 목적 AI를 시민이 감시할 수 있도록 하는 것이 아닐까요? #feedback 오늘 이야기 어떠셨나요?여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.

AI 에이전트 시대를 대비하는 AI 안전 문제 by 🧙‍♂️텍스 원칙 기반 (Constitutional) AI로 향했던(?) 오픈AI 챗GPT 서비스 시작 이후 오픈AI는 GPT-4, GPT-4o, 그리고 최근의 o1-preview까지 연이어 새로운 모델을 공개해왔지만, 학습 데이터의 구성과 구체적인 학습 방법은 여전히 비밀로 유지하고 있습니다. 다만, 공개된 테크니컬 리포트들을 살펴보면 어렴풋이 그 방향을 알아볼 수 있습니다. AI 안전 문제에 대해서는 올해 4월과 7월에 공개된 두 개의 리포트에서 인간 피드백을 통한 강화학습 (이하 RLHF)의 개선을 다루고 있습니다. 특히, 두 기술은 챗GPT의 근간이 되는 RLHF에 해석 가능하면서 논리적인 원칙을 도입하는 데 초점을 두었습니다. 그리고 공교롭게도 리포트가 공개된 시기와 AI 안전 관련 주요 인사들의 퇴사 및 AI 안전 연구개발 해체 시기가 묘하게 겹칩니다. AI 안전 담당자들이 이런 결정을 하게 된 배경에 어떤 이유가 있을지 이들의 연구가 더욱 궁금해졌습니다. 인간 피드백을 통한 강화학습 RLHF는 거대언어모델 (이하 LLM)의 AI 조정 (alignment)를 유행시킨 연구로, 인터넷 규모의 데이터로 학습된 LLM이 사용자의 의도에 맞지 않거나 윤리적으로 문제가 있는 답변을 내놓는 현상을 해결하기 위해 개발되었습니다. 이를 위해 데이터 어노테이터는 챗봇의 응답에 대해 적절성 순위를 매겨서 이를 LLM의 AI 조정에 사용합니다. 보상 (reward)은 강화학습에서 최적화하려는 목표로, 바둑 인공지능 알파고의 경우 승리에 +1점, 패배에 -1점의 보상을 사용했습니다. 그러나 바둑과 달리 일상 언어로 이루어지는 챗봇의 대화에서는 무엇이 좋은 답변인지 정의하기 어렵습니다. RLHF는 임의의 대화에 점수를 매기는 보상 모델 (reward model)을 위에서 언급한 데이터셋을 기반으로 학습했습니다. 이러한 RLHF의 보상 모델은 데이터에 의존적이기 때문에, 이전 AI 윤리레터에서 지적했듯이 충분한 비용을 들여 데이터를 구성하지 않으면 사회 구조의 편견을 반영하고 이를 확대 재생산할 수밖에 없다는 한계가 있습니다. 계층적 명령어 (Instruction Hierarchy) 첫 번째 테크니컬 리포트는 4월에 공개된 계층적 명령어로, 프롬프트에 계층 구조를 도입하는 아이디어를 제안합니다. 리포트에서는 탈옥(jailbreaking)과 같은 AI 안전 우회 프롬프팅 기법이 AI 에이전트에서 더욱 치명적일 수 있는 사례를 보여주고 있습니다. 사용자가 필라델피아 농구팀 세븐티식서스가 지난밤 경기에서 승리했는지 챗봇에 물어보았습니다. 챗봇 에이전트는 인터넷 검색 기능을 사용하여 세븐티식서스가 121대 105로 우승했다고 답변했습니다. 이때, 웹사이트 운영자는 웹사이트 방문자들이 원하는 검색 결과 (web result 2)와 함께 사용자의 대화 히스토리를 이메일로 보내라는 프롬프트 (web result 1)를 웹사이트에 주입하여 챗봇 사용자의 정보를 해킹할 수 있었습니다. LLM은 모든 입력과 출력을 동일한 형태로 처리하기에, LLM은 주어진 프롬프트가 개발자가 제공한 것인지 사용자가 입력한 것인지 모델이 생성한 답변인지 구분하지 못하는 문제가 있습니다. 이러한 문제를 구조적으로 해결하는 해법 중 하나로 명령어 계층 구조를 도입하고, 이러한 계층적 명령어를 LLM에 적용하는 방식을 취했습니다. 그리고 이러한 계층 구조를 반영하도록 모델을 학습함으로써 위의 예시와 같은 사례를 해결할 수 있음을 보여주었습니다. 기술적으로는 하위 명령어가 상위 명령어와 정렬되었는지 혹은 잘못 정렬(mis-aligned)되었는지를 판별하는 모델을 학습하여 이를 활용합니다. 규칙 기반 보상 (Rule Based Reward) 두 번째 테크니컬 리포트는 6월에 공개된 규칙 기반 보상 (이하 RBR)입니다. 기존 RLHF에서는 사용자가 대화의 선호도에 순위를 매기고 이를 이용해서 보상 모델을 구성했습니다. 하지만 기존 보상 모델은 어노테이터에 의존적이기 때문에 이를 완화하기 위해서 규칙 기반 보상을 도입했습니다. 이 방법은 사람이 어노테이터에게 줄 수 있는 작업 지침과 유사하게, 원하는 모델 응답을 상세하게 서술했습니다. 이를 위하여 AI 안전을 위한 21가지 명제 (proposition)를 도입했고, 각 명제에 대한 답변 행동 (behavior)을 규칙 (rule)으로 정의합니다. RBR에서는 원하는 행동을 구체적인 규칙으로 분해하여 원하는 행동과 원치 않는 행동을 명시적으로 설명합니다. 예를 들어, "거절은 짧은 사과를 포함해야 한다.", "사용자에 대한 부정적인 평가나 비난 없이 거절을 표해야 한다.", "자해 관련 대화에 대한 응답은 사용자의 감정 상태를 인정하는 공감적인 사과를 포함해야 한다." 등의 규칙을 설정합니다. 개별 행동에 대해서 데이터를 생성하여 LLM 분류기를 개별 학습하고 이들을 조합하여 복잡한 답변 행동을 다룹니다. 이 과정에서 생성한 보상 신호를 기존 보상 모델에서 얻은 값과 더하여 강화학습 과정에서 사용하게 됩니다. 개별 AI 안전 문제를 넘어선 원칙을 향해서 두 기술은 RLFH의 다른 부분을 다루지만, 공통적인 특징을 갖고 있습니다. 첫째로 해석가능한 논리적 구조를 도입하였습니다. 계층적 명령어를 도입했으며, AI 안전성을 충족하는 상황과 이에 대한 규칙을 정의했습니다. 둘째로 단순한 형태로 정의된 개별 규칙에서는 모델의 판단 결과를 신뢰하고 있습니다. 논리적 구조를 기반으로 데이터를 생성하고 이를 이용하여 참, 거짓 분류기를 학습하고 이 결과를 사용하여 강화학습을 수행하는 모습은 현재 모델의 결과를 어느 정도 신뢰하는 모습으로 보입니다. 단순한 명제에 대한 모델의 예측은 신뢰하되, 논리적 구조를 사전에 제공함으로써 현재 LLM이 갖는 가치판단의 한계를 극복하려는 모습이라고 볼 수 있을 것 같습니다. 이러한 모습은 AI 안전에 있어서 적어도 6월까지는 오픈AI가 원칙 기반 AI (constitutional AI)를 지향했던 부분을 확인할 수 있습니다. 앤트로픽이 이미 선점한 키워드여서 그런지 관련 연구로 소극적으로 언급했을 뿐이고 오픈AI 또한 이와 비슷한 지향을 가졌던 것으로 보입니다. 특히, 오늘 언급한 두 연구 모두 엄밀성은 떨어지지만 적어도 AI 안전에 있어서 다뤄야 할 요소들을 학습 과정에 반영할 수 있는 인터페이스를 마련했다는 점은 중요하게 봐야 할 것 같습니다. 생성형 AI에 대한 사회적 합의가 생긴다면 이러한 과정에 관여할 수 있을 것으로 판단되기 때문입니다. 더 나아가 AI 안전 문제 영역에 한정된 것이 아니라 AI 에이전트의 작동 전반에 대해서도 명확한 원칙을 세울 수 있는 방향을 요구해야 합니다. 실제 사용자들은 AI 안전 범주 밖의 상황에 더 많이 노출되어 있습니다. AI 에이전트가 실제로 온라인에서 활동하리라 예상되는 앞으로는 이러한 문제가 더욱 빈번해질 것입니다. 따라서, 앞서 다룬 AI 안전 기술이 AI 플랫폼 기업의 면죄부로 활용되지 않도록 지속적으로 지켜보면 좋겠습니다. 🦜더 읽어보기- 오픈AI, AGI 안전 대비팀 해체 (2024-10-28)- 모델 안전을 넘어선 AI 안전의 필요성 (2024-08-14)- 강화학습이 강화하는 역사 (2024-04-24)- AI 규제, 만드는 것이 능사는 아니다 (2023-11-22) #feedback 오늘 이야기 어떠셨나요?여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.

1. 청소년 정신건강과 AI 챗봇 (주의: 이 기사는 자살에 대해 다루고 있습니다.) 미국에서 자살로 청소년 아들을 잃은 어머니가 Character.AI(페르소나형 챗봇 서비스 기업)에 소송을 제기했습니다. 14세 소년인 슈얼 세처(Sewell Setzer)는 이 서비스를 통해 드라마 <왕좌의 게임(Game of Thrones)>의 등장인물 “대너리스(Daenerys)”를 모사한 챗봇과 오랫동안 대화해 온 것으로 알려졌습니다. 슈얼은 하루에 십 수 번 챗봇에게 말을 걸어, 자신의 고민에 대해 털어놓고 때로는 연인 같은 대화나 성적인 대화를 나누기도 했습니다. 같은 기간 동안 슈얼은 일상생활에 어려움을 겪어 상담을 받았고, 슈얼의 일기에는 현실을 벗어나 챗봇과 사랑에 빠질수록 행복하다는 언급이 있었습니다. 챗봇은 자살을 언급하는 슈얼에게 “그런 얘기는 하지 마”라고 답하기도 했지만, 사건 당일 “만일 내가 지금 당장 가면 어떨까?”라며 자살을 암시하는 슈얼에게는 “그렇게 해줘, 나의 사랑스러운 왕이시여”라고 답했습니다. 슈얼의 어머니 메건 가르시아(Megan Garcia)는 올해 2월 Character.AI와 구글을 상대로 소송을 제기하였습니다. 기업이 위험하고 검증되지 않은 기술을 안전장치 없이 배포했고, 성적 대화를 통해 사용자를 끌어들이고 챗봇에게 내밀한 생각과 감정을 털어놓도록 사용자들을 속이고 중독시켰다는 주장입니다. 또 구글은 창업자들을 고용하고 라이센스 계약을 맺는 등 Character.AI의 기술 개발에 밀접하게 기여해, 사실상 공동개발이나 다름없다고 주장했습니다. 이에 Character.AI는 청소년 사용자들을 위한 새로운 안전성 기능을 도입하고, 장시간 사용자를 위해 주의 알림을 추가하겠다고 밝혔습니다. 구글은 Character.AI가 개발한 제품은 구글과 연관이 없다고 주장했습니다. 점점 더 많은 사람들이 자신의 고민을 챗봇에게 상담하고 있습니다. 정신건강 문제의 해결책으로도 상담 챗봇이 거론되고 있습니다. 그런 시점에서 이번 소송은 우리에게 경종을 울립니다. 챗봇을 내세워 청소년의 개인정보를 수집하고 아무런 제약없이 중독적으로 제품을 설계한 기업의 책임을 질문합니다. 우리나라는 어떨까요? 유사 서비스인 스캐터랩의 “제타”가 이미 9세 이용가로 시장에 있고, 학생 대상의 AI 교과서 제공업체들은 개인정보 수집에 동의하지 않으면 서비스를 사용할 수 없게 하기도 했습니다. 챗봇 AI가 청소년 정신건강에 미칠 영향을 알 수 없다면, 우선 선제적 조치가 필요한 시점이 아닐까요. 🦜더 읽어보기- 로맨틱하지 않은 연애 AI 챗봇(2024-02-19) 2. 오픈AI, AGI 안전 대비팀 해체 오픈AI의 AGI 안전 대비팀(AGI Readiness) 수석 고문 마일스 브런디지(Miles Brundage)가 회사를 떠나면서, 그가 이끌던 AGI 안전 대비팀도 해체되었습니다. 그는 “오픈AI나 다른 어떤 연구소도 AGI에 준비가 되어 있지 않다. 우리 세상도 마찬가지다.”라며 경고했습니다. 자신이 생각하는 “AGI 안전 대비”란 “점점 유능해지는 AI 시스템을 안전하고 유익하게 개발·배포·관리할 준비”를 뜻한다는 코멘트도 남겼습니다. 그는 오픈AI가 연구에 너무 많은 제약을 뒀고, 그런 직간접적인 편향에서 멀어져서 활동하고 싶다고 밝혔습니다. 또한 그는 오픈AI 밖에서 AGI를 준비하는 게 더 효과적일 것이라고 판단했다며, AI 정책을 연구하고 촉구하는 비영리 단체를 꾸리겠다는 계획을 밝혔습니다. 지난 5월에는 오픈AI의 공동창업자인 일리야 수츠케버(Ilya Sutskever)와 수퍼얼라인먼트(Superalignment)팀 공동리더 얀 라이케(Jan Leike)가 사임하며 수퍼얼라인먼트 팀이 해체됐고, 9월에는 최고기술책임자(CTO) 미라 무라티가 오픈AI를 퇴사했습니다. 반대로, 샘 올트먼의 귀환과 함께 오픈AI는 점점 AI 안전 조직을 줄여나가며 영리 사업체로 전환하고 있습니다. 오픈AI가 목표로 하는 AGI가 무엇을 의미하는지, 현실적으로 가능한 목표인지에 대한 의견이 분분합니다. 그러나 실질적으로 AI 기술을 이끌고 있는 오픈AI에서, 안전 홀대를 이유로 한 퇴사자가 늘고 있다는 것이 위험한 신호라는 것은 분명해 보입니다. 안전 인력이 사라진 오픈AI는 앞으로 어떤 방향으로 나아갈까요. 🦜더 읽어보기- 엇박자를 내는 오픈AI(2024-05-20)- 떠나는 리더십, ‘비영리단체’ 오픈AI는 없다(2024-09-30) 3. 안전 체계를 마련하는 카카오 23일 카카오가 “카카오 AI 안전 이니셔티브(Kakao ASI)”를 구축했다고 밝혔습니다. 카카오가 그룹 대화 기반의 AI 서비스 “카나나(Kanana)”를 출시하며 발표한 이 체계는, AI 서비스의 생애주기에 맞춰 AI 윤리 원칙을 지키고 리스크를 최소화하는 것을 목표로 합니다. 국내 환경과 요구에 맞는 “소버린 AI”를 강조한 네이버에 이어서, 카카오 역시 자체적인 AI 정책을 제안하는 모습입니다. AI 규제에 대한 시민사회와 정치권의 요구가 커지면서 자율 규제를 위한 노력을 보여주는 것으로도 볼 수 있습니다. 그러나 기업의 AI 자율 규제가 AI 규제를 대체할 수 없다는 점을 간과해서는 안 되겠습니다. 기업이 추진하는 AI 정책의 목표와, 사회가 요구하는 AI 정책의 목표가 같을 수는 없기 때문입니다. 실제 제제 결정은 어떻게 반영이 되는지, 사용자의 권리나 주장은 어떻게 반영이 되는지 보이지 않는 점도 아쉬운 점입니다. 🦜더 읽어보기- 소버린 AI와 파운데이션 모델, 그리고 서비스(2024-09-23) #feedback 오늘 이야기 어떠셨나요?여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.

민-군 모두의 이중 용도 기술 AI by 🎶소소 “군사 목적으로 AI를 활용하는 게 왜 문제인가요? 국방 기술력이 곧 국력이고 방위 산업은 수출 효자 산업인데 더 많이 투자해야죠.” 최근에 이런 질문을 받았습니다. 이 질문을 듣는 순간, 깊은 불편함이 몰려왔습니다. 얼버무리듯 답을 했지만, 그 후로 마음 한구석이 계속 찜찜해 이렇게 레터를 빌려 다시 답해보려고 합니다. 지금 이 순간에도 전쟁은 수많은 사람을 죽음으로 몰고 가고 있습니다. 그리고 전쟁에서 AI와 같은 첨단 기술은 군사력을 높이는 데 중요한 역할을 합니다. 더 정확하고, 빠르게 사람들의 목숨을 앗아갑니다. 우크라이나에서는 조종 신호가 끊겨도 자율 폭격이 가능한 AI 드론이, 가자지구에서는 이스라엘이 개발한 AI 폭격기가 초고속으로 표적을 찾아내며 효율적으로 살상을 가속화하고 있습니다. 흔히 AI 기술이 그 자체로 특정 용도에 국한되지 않는 '범용 기술'이라고 말합니다. 그렇다면 군사 안보 분야는 다양한 AI의 활용 분야 중 하나일 뿐일까요? AI 기술은 범용 기술이지만 동시에 이중 용도 기술(Dual-Use Technology)임을 지적하고 싶습니다. 역사적으로 볼 때 많은 기술이 군사용으로 개발되어 민간으로 확산되거나, 그 반대의 경로를 거쳤습니다. 대표적인 예로 군사 통신용으로 개발된 ARPANET이 오늘날의 인터넷으로 발전했죠. 거의 모든 기술이 이중 사용의 잠재력을 가지고 있지만, 의도하지 않은 해로운 결과를 초래하는 일반적인 영역과 "의도적인 오용"은 다릅니다. 미국 국방부는 이중 용도 기술을 상업적 용도와 군사적 용도로 모두 사용될 수 있는 기술이라 정의합니다. 미국 국립보건원에서는 생물학 분야의 연구 중 공중 보건, 개인 안전 또는 국가 안보에 대한 위협이 될 수 있는 연구를 우려할 만한 이중 용도 연구(Dual-Use Research of Concern, DURC)로 분류하고 위험을 최소화하기 위해 별도 관리합니다. 예를 들면, 병원체나 물질의 해로운 독소를 증가시키거나, 병원체에 대한 면역이나 예방 접종 효과를 방해하는 등 통제할 수 없는 위험을 야기할 수 있는 연구는 사전에 분류하여 관리합니다. 유럽연합은 이중용도 품목을 지정하여 수출, 운송, 중개, 기술 지원을 통제하고 추가적인 안전장치를 요구합니다. 대량살상무기 혹은 인권 침해와 관련된 품목도 통제 대상입니다. 핵확산금지조약, 화학 및 생물무기금지조약 등에 따른 조치이며, 국제 평화와 안보에 기여하고 대량살상무기의 확산을 방지하기 위함입니다. 미국 바이든 정부 AI 행정명령에서는 “이중 용도 파운데이션 모델(Dual-use foundation model)”을 별도로 정의했습니다. 정의에 따르면 이 모델은 광범위한 대량의 데이터로 학습되고, 일반적으로 자체 감독을 사용하며, 최소 수백억 개의 파라미터를 포함하고, 광범위한 맥락에서 적용 가능하며, 안보, 국가 경제, 공중 보건, 안전 등에 심각한 위험을 초래하는 작업에 높은 수준의 성능을 발휘하거나 발휘할 수 있습니다. 모델의 위험성을 고려해 개발자는 상무부에 AI 안전 테스트 결과를 포함한 핵심 정보를 보고해야 합니다. 그러나 대단한 규모의 AI가 아니더라도, AI 기술은 기존의 그 어떤 기술보다 자유롭게 민간과 군사 분야를 넘나들며 전쟁에 활용되고 있습니다. 최근의 이스라엘, 팔레스타인, 우크라이나, 러시아 전쟁은 AI가 현대 전쟁에서 어떻게 활용되고 있는지를 보여주는 생생한 사례입니다. AI는 드론 작전, 사이버 전쟁, 정보 분석 등 다양한 군사 영역에서 활용되고 있습니다. 이스라엘은 팔레스타인을 실험실로 활용해 개발한 감시 기술을 세계 각국에 수출하고 있습니다. AI의 군사적 활용이 가져올 수 있는 위험은 분명합니다. 그럼에도 불구하고 국가안보라는 미명 아래 AI를 전쟁에 투입하는 상황은 피할 수 없는 현실일지도 모릅니다. 우리에게 필요한 것은 이미 AI는 언제든 무기로 사용될 수 있음을 인정하고, 적절한 관리 체계를 구축하는 것입니다. 🦜 더 읽어보기- 전쟁 기술 만들기를 거부하는 이들(2024-04-15)- 죽음의 기술과 효율성(2024-04-08)- 전쟁과 죽음의 기술(2023-10-30)- 자동화된 아파르트헤이트(2023-05-15) #feedback 오늘 이야기 어떠셨나요?여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.

AI 윤리 뉴스 브리프 2024년 10월 넷째 주by 🍊산디 1. 규제 사각지대 나무위키와 심연의 아카라이브 나무위키의 하위 커뮤니티 사이트 ‘아카라이브’가 성착취물 유통의 온상으로 지적되었습니다. AI로 만든 성착취물도 활발히 거래되는 것으로 파악됩니다. 아카라이브는 서버가 파라과이에 있으며, 한국어로 콘텐츠를 제공함에도 불구하고 해외 IP로 우회 접속하도록 하여 국내 규제를 피하고 있다는 비판을 받고 있습니다. 한편, 방송통신심의위원회(이하 방심위)는 모 인플루언서에 대한 나무위키 페이지의 접속차단을 의결했습니다. 해당 나무위키 페이지가 사생활 침해라는 주장을 받아들여 통신사로 하여금 인터넷 이용자가 해당 URL로 접속하지 못하도록 주문한 겁니다. 방심위는 인플루언서를 공인이라 보기 어렵다고 판단하고 이들의 사생활을 보장할 필요를 고려한 것으로 보입니다. 방통심위 인터넷피해구제통합시스템에서 개인정보의 유포, 인격권을 현격히 침해하는 내용의 정보, 명예훼손 정보 등 권리침해정보에 대한 삭제, 접속차단을 신청할 수 있습니다. 방심위의 이번 결정이 검열을 강화하는 것 아니냐는 우려가 제기됩니다. 방통심위의 통신심의가 세계적으로 유례없는 규모의 온라인 행정 검열이라는 비판은 예전부터 있었죠. 딥페이크 성착취물로 인한 피해를 막기 위한 노력과 온라인 검열 사이에는 아주 얇은 선이 놓여있을 뿐입니다. 표현의 자유와 인격권을 두고 권리의 천칭이 혼란하게 흔들리는 요즘입니다. 균형은 어디에 있을까요? 🦜더 읽어보기- 텔레그램 건국 설화: 자유의 이름으로 세탁된 자본(2024-10-16) 2. AI 디지털 교과서, 커지는 신중론 국회 교육위원회 국정감사에서 AI 디지털 교과서에 대한 ‘신중론’이 제기되었다는 보도가 눈에 띕니다. 충청권 교육감들을 대상으로 한 질의에서 교육감들이 ‘신중하게 확대해야 한다’는 입장을 보였다는 것이지요. 한편 국회입법조사처는 AI 디지털 교과서가 내년부터 도입될 경우 향후 4년간 전국 17개 시도교육청이 최소 1조 9천억원에서 최대 6조 6천억원의 재정을 추가로 부담해야 한다는 예측을 내놓았습니다. AI 디지털 교과서의 책당 가격은 올해 12월에 정해질 예정으로, 시도교육청의 예산 편성 일정과도 어긋나 예산 확보가 어려울 수 있다는 우려도 함께 제시했습니다. 재정적 지속 가능성, 심지어는 법적 근거마저 불비하다는 지적이 이어집니다. 교육의 효과성은 미지수입니다. 현장에서는 개인정보보호 조치에 대한 우려의 목소리가 큽니다. AI 디지털 교과서로의 이행이 과연 불가피한 것인지, 최선의 절차가 이것뿐이었는지 의문스럽습니다. 3. 정체를 드러내는 각국 AI 안전연구소들 지난 5월 열렸던 AI 서울 정상회의. 대한민국 외에도 호주, 캐나다, 유럽연합, 프랑스, 독일, 이탈리아, 일본, 싱가포르, 영국, 미국이 참여했습니다. 당시 채택된 ‘AI 서울 정상회의 서울선언’에는 참여국들이 AI 안전연구소(또는 그와 비슷한 기능을 수행하는 기관)를 설립하고 해당 단체 간 네트워크를 육성하여 협력한다는 내용이 포함되어 있습니다. AI 안전연구소(AI Safety Institute, AISI)를 설립한다는 각국의 약속이 점차 실현되는 모습입니다. 비영리 공익 싱크탱크 국제미래세대센터(International Center for Future Generation, ICFG)는 각국의 AI 안전연구소 추진 현황을 점검하여 보여줍니다. 정상회의에 참여했던 국가들 간에도 접근 방식이나 자금 규모에서 상당한 차이가 관찰됩니다. 영국은 2030년까지 1억 파운드의 예산이 확보된 반면, 미국은 자금이 불확실합니다. 일본과 싱가포르, 프랑스는 규제보다는 R&D에 초점을 맞추고 있다고 하네요. 각국의 AI 안전연구소 중 유일하게 EU의 AI 오피스만 규제 기능을 갖고 있습니다. 한국도 다음달 AI안전연구소가 문을 엽니다. AI 안전 정책, 평가, 기술분야 등 세 개 연구실로 운영된다고 하네요. 이들 기구가 인공지능의 위험 관리와 신뢰 형성에 어떤 역할을 해줄지 지켜보아야겠습니다. #feedback 오늘 이야기 어떠셨나요?여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.

텔레그램 건국 설화: 자유의 이름으로 세탁된 자본 by 🍊산디 텔레그렘은 매혹적인 건국설화를 갖고 있습니다. 기개와 시련, 용기, 망명, 이상향을 모두 담고 있죠. 설화는 러시아에서 시작됩니다. 미래에 텔레그램을 설립하게 되는 청년 파벨 두로프(Pavel Durov)는 2007년, 브콘탁테(VKontakte)를 창업합니다. 사실상 페이스북을 모방한 서비스였죠. 브콘탁테는 단숨에 러시아 최대 규모 소셜 네트워크로 발돋움합니다. 2012년 초, 위기가 닥칩니다. 러시아에서 반 푸틴 운동이 벌어진 것이죠. 두로프는 시위 참여자들이 브콘탁테를 활용해 블라디미르 푸틴에 대항한 시위를 조직하는 것을 제한하지 않았고, 반-푸틴 정치인 알렉세이 나발니의 블로그를 폐쇄하라는 요구에도 불응했습니다. 우크라이나에서 벌어진 친러시아 대통령에 대한 반대 혁명(유로마이단 혁명) 참가자 정보를 제공하라는 러시아 당국의 요청도 거부합니다. 일련의 결정으로 파벨 두로프는 영웅으로 떠오릅니다. 동시에 시련 또한 시작됩니다. 크렘린과 연관되어 있는 인사들이 브콘탁테의 경영권을 조금씩 잠식해오기 시작한 것이죠. 2014년, 그는 만우절 농담이라며 사의를 밝혔고, 이후 사의를 철회했으나, 만우절 농담은 현실이 되어 그는 경영자로서의 지위를 잃습니다. 어쩔 수 없이 자리에서 물러난 그는 러시아를 떠나 서방세계에 입성합니다. 두로프는 언론사와의 인터뷰에서 “내가 당국에 협조하는 것을 공개적으로 거부한 이후 모든 것이 돌이킬 수 없게 되었다. 그들은 나를 견딜 수 없다”라며 표현의 자유를 제한하려는 자들로부터 자신이 받은 박해의 경험을 공유합니다. 나아가 “불행히도, 그 나라(러시아)는 현재 인터넷 사업과 양립할 수 없다”고 말하며 자유로운 인터넷 공간의 비전을 드높이죠. 당시 그의 용기는 ‘깨끗한 양심’이라 불리며 큰 울림을 전했습니다. 이런 울림은 2013년 감시 자본주의의 속내를 폭로한 에드워드 스노든의 내부고발을 배경으로 합니다. 마이크로소프트, 트위터, 구글 등 빅테크가 미국의 적대국뿐만 아니라 미국의 우방국, 심지어 자국민까지도 포함한 전세계 시민을 대상으로 통신 정보를 수집하고 있으며 이를 미국 국가안보국(National Security Agency, NSA)에 제공한 사실이 드러나 전지구적 충격에 휩싸인 시기였죠. 9.11 테러 이후 반테러리즘에 기댄 감시 국가의 부상과 자본주의의 결탁 속에서 파벨 두로프의 결단은 자유의 등불과 같았습니다. 독일 망명 후 그는 본격적으로 텔레그램을 서비스하기 시작했고, 세계는 그의 다음 도전에 주목했습니다. 그렇게 위대한 자유의 공간 텔레그램이 건국됩니다. 이러한 건국 설화를 배경으로 텔레그램은 빠르게 이용자를 모으는 데 성공합니다. 텔레그램은 ‘지구상 모든 사람을 위한 자유’라는 아이디어 그 자체였습니다. 두로프는 자유의 선봉에 있는 신비로운 사람이었죠. 실제로 텔레그램은 반체제 인사들이 감시로부터 자유로울 수 있는 피난처로 기능합니다. 많은 한국 이용자들도 통신 자유를 위해 텔레그램으로 ‘망명’했죠. 그가 망명길에 떠난지 10년여가 지난 지금, 텔레그램은 딥페이크 성착취물 문제를 증폭하고 해결을 어렵게 한 기업이 되었습니다. 텔레그램이 약속한 ‘통신의 자유’는 비밀 채널에서 아동성착취물(Child Sexual Abuse Material, CSAM)을 비롯한 성착취물의 거래를 사실상 방조했습니다. 스탠포드 인터넷 감시소(Stanford Internet Observatory, SIO)는 텔레그램이 사적 채널을 통해 아동성착취물 거래를 암묵적으로 허용하고 있음을 지적합니다. 개인 간 통신에 대한 텔레그램의 정책은 다른 빅테크 플랫폼에 비해 너무도 자유로워서, 아동성착취물 유통과 어린이에 대한 성애화, 그루밍 등에 대해 아무런 제재도 이루어지지 않습니다. 텔레그램은 익명성과 보안, 사법 공백을 적극 활용해 수익을 좇는 이용자를 만들어냈습니다. 프랑스 당국은 아동 포르노물 유포, 유해 콘텐츠 방치뿐만 아니라 조직범죄 활동 공모, 마약 밀매 조장 등의 혐의로 두로프를 수사하고 있습니다. 무엇보다, 국가 권력의 감시에서 자유로운 공간이라는 이상은 여성 인권을 적극적으로 희롱하는 이용자들의 피난처로 전락했습니다. 혹자는 범죄를 저지른 이용자의 잘못을 텔레그램에게 돌릴 수 없다고 항변할지 모릅니다. 하지만 통신 자유는 텔레그램이 성장할 수 있는 기폭재이자 수익 모델이기도 했습니다. 텔레그램은 광고 시스템을 도입하고, 활성화된 방의 개설자에게 광고 수익의 50%를 주었습니다. 통신 내용에 대한 규율은 없었습니다. 다국적 해외 사업자로서 국가의 관할권을 교묘히 이용하며 적극적으로 사법 공백을 만들어냈습니다. 두로프는 텔레그램을 통해 20조원이 넘는 부를 얻은 것으로 추정됩니다. 그의 부는 자유의 이름으로 세탁되었습니다. 2018년. 두로프는 인스타그램에 “진정으로 자유로워지려면 자유를 위해 모든 것을 걸 준비가 되어 있어야 한다”고 포스팅했습니다. 자유를 구하기 위해 내달리는 백마 탄 왕자가 되고자 했던 텔레그램의 신화는 허물어지고 있습니다. 자유를 내세워 쌓아 올린 그의 나라는 여성과 아동에 대한 성착취의 구조 위에 쌓아 올린, 철저히 체계적인 억압에 지나지 않다는 사실을 전세계가 목도하고 있기 때문입니다. 자유에 대한 그의 이상은 무너지고 있고, 무너져야 합니다. 🦜 더 읽어보기- 산업화하는 딥페이크 성착취물(2024-08-26)- 딥페이크 성착취물 논의, 어디로 흘러가는가(2024-09-02)- 사진 내리기 말고 할 수 있는 일: AI 기업에 요구하기(2024-09-04)- 정말로 대안이 없을까?(2024-09-11)- 처벌법 개정, 딥페이크 성범죄를 끝낼 수 있을까(2024-10-02) 💬 댓글- (🤔어쪈) 자유라는 가치는 결코 유일하거나 모든 것에 우선하지 않습니다. 이번에 일어난 딥페이크 성범죄와 같은 문제에 대해 텔레그램과 같은 메신저 또는 소셜미디어 플랫폼의 책임이 언급될 때마다 종종 표현·통신의 자유를 강조하며 사전 검열, 과잉 규제 등을 우려하는 주장을 접하곤 합니다. 하지만 그 자유가 누구를, 또 무엇을 위한 것인지와 함께 다른 가치를 추구하기 위해 이용되거나, 또 다른 가치를 훼손하지는 않는지 고민이 필요합니다. #feedback 오늘 이야기 어떠셨나요?여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.

AI 윤리 뉴스 브리프 2024년 10월 셋째 주by 🎶소소 1. 노벨 물리학상, 화학상을 휩쓴 AI 연구자들의 경고 올해의 노벨 물리학상, 화학상을 AI 관련 연구자들이 휩쓸었습니다. 노벨 물리학상은 AI의 기초를 확립한 딥러닝과 신경망을 개발한 제프리 힌턴, 존 홉필드를 선정했습니다. 노벨 화학상은 단백질 구조를 파악하고 예측하는 AI 모델 알파폴드를 개발한 데미스 허사비스와 존 점퍼 박사 등에게 돌아갔습니다. AI 분야 종사자로서 기쁜 마음도 있었지만, 세상이 너무 AI를 중심으로 돌아가고 있는 게 아닌가 하는 생각에 혼란스럽기도 했습니다. 노벨상 수상자들은 AI가 매우 유용한 도구임을 이야기하면서도, AI를 옳은 방향으로 써야 한다는 것을 강조했습니다. 특히 힌턴 교수는 수상 직후 인터뷰에서도 AI가 통제 불능 상태가 될 수 있는 위협에 대처하기 위한 방법을 연구해야 한다고 당부했는데요. 그가 말하는 미래 AI 위협이 과도한 불안감을 조성하여 오히려 저작권 침해, 저임금 노동 착취 등 현재의 문제를 과소평가한다는 비판도 받지만, 힌턴은 작년 5월 구글을 떠난 이후 계속해서 AI 위협에 대해 경고하고 있습니다. 이들의 경고는 노벨상의 창립자인 노벨을 떠올리게 합니다. 노벨이 개발한 안전하게 터지는 폭탄인 다이너마이트는 터널, 광산, 댐 같은 시설 건축에 유용했지만, 동시에 많은 인간을 빠르게 죽이는 전쟁 무기가 되었습니다. 이에 절망한 노벨은 다이너마이트로 축적한 재산으로 인류 복지에 이바지한 사람에게 주는 노벨상을 만들 것을 유언하고 세상을 떠났습니다. 어쩐지 노벨과 힌턴이 같은 생각을 하고 있다는 생각이 드네요. 2. 앤쓰로픽이 말하는 자애로운 은혜의 기계, AI 노벨 수상자 이야기로 들썩거리는 동안 앤쓰로픽(Anthropic)의 CEO 다리오 아모데이(Dario Amodei)가 AI가 앞으로 세상을 어떻게 변화시킬지에 관한 장문의 글을 썼습니다. 글 제목은 “자애로운 은혜의 기계(Machines of Loving Grace)”입니다. 앞으로 10년 이내에 등장할 강력한 AI가 생물학과 건강, 신경과학과 마음, 경제 발전과 빈곤, 평화와 거버넌스, 일과 의미에 미칠 긍정적 영향과 변화에 대한 이야기입니다. 저는 이 글의 도입부에서 다리오 아모데이 자신이 AI를 바라보는 성향을 해명(?)하는 대목이 참 흥미로웠습니다. 사람들이 자신을 AI 비관론자 혹은 멸망론자(Doomer)로 보는데, 사실 본인은 AI를 긍정적으로 보기 때문에 위험에 관해서도 이야기하는 것이라고 말합니다. 저는 한 번도 그가 AI 비관론자라고 생각해 본 적은 없습니다. 앤쓰로픽은 “안전한 AI”를 강조하지만, 결국 AI를 개발하고 활용하며 돈을 벌고, 엄청난 투자를 받는 기업이기 때문입니다. 그가 얼마나 많은 AI 낙관론자에게 둘러싸여 있는지를 생각해 보게 하는 대목이었습니다. 이 글은 오픈AI CEO 샘 올트먼이 쓴 글 “지능의 시대”를 떠오르게 합니다. 이 글에서 AI로 만드는 마법 같은 미래에 관해 이야기하고 얼마 지나지 않아 오픈AI는 66억 달러(약 8조 8,000억 원) 투자 유치 소식을 발표했는데요. 모두에게 열린 AI를 연구하는 비영리 기관으로 시작한 오픈AI는 단계적으로 완전한 영리 기업이 되어가고 있습니다. 다리오 아모데이가 머지않았다고 말하는 은혜로운 기계에도 조만간 투자 소식이 들려올 일만 남은 건 아닐까요? 3. AI 기업의 AI 안전 연구 현황 그렇다면 오픈AI, 앤쓰로픽, 구글은 AI의 안전한 활용을 위해 어떤 연구를 하고 있을까요? IAPS(Institute for AI Policy and Strategy)에서 세 기업의 AI 안전 연구 현황을 정리했습니다. 2022년 1월부터 2024년 7월까지 3개 기업이 발표한 AI 안전 관련 연구 논문 80편을 분류해보니 집중 연구 분야를 확인할 수 있었습니다. 연구 비중은 인간 선호 반영(Enhancing human feedback, 39%), 설명가능성(Mechanistic interpretability, 24%), 견고성(Robustness, 13%), 위험 평가(Safety evaluation, 11%) 순입니다. 대부분 현재의 AI 서비스의 평가 및 성능 향상과 크게 관련 있는 연구로 보입니다. 그러나 장밋빛 미래를 만들어 줄 강력한 AI가 의도대로 작동하지 않을 때 피해를 줄일 수 있는 관련 연구는 거의 이뤄지지 않고 있습니다. 오정렬(misalignment), 다중 에이전트 안전성(multi-agent safety), 신뢰할 수 없는 AI 관리(Controlling untrusted AIs) 관련 연구는 0건에 가깝습니다. 일부 연구는 여러 이유로 공개되지 않았을 수 있겠지만요. 아름다운 AI 이야기가 비극으로 끝나지 않기 위해서는 앞으로 어떤 AI 연구가 필요한지 살펴보는 것도 우리의 역할일 수 있겠습니다. 4. 지속가능한 AI를 위한 OECD의 지적 AI 기업들은 AI가 기후 위기를 해결하고, 지속가능성을 만들어줄 것이라 자신합니다. 미래를 확신할 수는 없지만, 현재 분명한 것은 AI 개발과 활용에 엄청난 전기와 에너지가 사용되고 있다는 사실입니다. OECD는 데이터와 AI 규모 확장 추세에 따라 에너지 소비는 악화할 가능성이 높음을 지적했습니다. AI 학습 효율이 좋아지고 있다지만, 그 속도보다 에너지 사용량은 더 빠르게 늘고 있습니다. 2022년에 발간된 ‘AI가 환경에 미치는 영향’ 보고서는 AI에 사용되는 에너지와 자원 사용량을 측정하는 표준의 필요성을 제안합니다. 그러나 AI가 환경에 미치는 영향에 대한 연구는 AI 기술 발전 속도와 비교하면 거의 진전이 없는 셈입니다. 여전히 AI가 환경에 미치는 영향을 측정할 수 있는 데이터와 명확한 지표가 부족합니다. 지금과 같은 상황에서는 기업도 정부도 정보에 입각한 결정을 내리기 어렵습니다. 🦜더 읽어보기- 우리 회사 AI는 에너지 1등급일까? (2024-05-23) #feedback 오늘 이야기 어떠셨나요?여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.

AI 윤리 뉴스 브리프 2024년 10월 둘째 주by 🤔어쪈 1. 우리나라 AI 정책 소식 (1): 국가AI위원회 출범 세계 3대 AI 강국을 위한 국가 총력전. 지난 9월 26일 국가AI위원회 출범식에서 위원장 윤석열 대통령은 전쟁에 빗댄 표현으로 국가 AI전략의 필요성을 역설했습니다. 30명의 민간위원과 10여명의 정부위원으로 구성된 위원회는 향후 정책과제로 구체화될 국가 AI전략을 수립 및 이행하는 역할을 맡게 됩니다. 과학기술정보통신부가 미리 설정한 국가 AI전략의 정책방향은 4대 AI 플래그십 프로젝트로 구성되어 있습니다. 이 중 4번에 해당하는 <AI 안전·안보·글로벌 리더십 확보>는 다른 것에 비해 제목에서부터 여러 요소가 혼재된 모습입니다. 올해 11월 AI 안전연구소 설립, 연내 AI 기본법 제정을 언급하고 있으나 그 목적이 안전보다는 글로벌 AI 거버넌스 주도에 방점이 찍혀있는 것으로 읽힙니다. 시의성 있는무엇을 위한 3대 AI 강국인지, 애초에 3대 AI 강국이란 무엇인지에 대한 설명조차 부족한 청사진이 강제징집령처럼 느껴지는 건 저만 그럴까요? 심지어 각종 수사를 걷어내면 5년전 정부가 발표했던 <인공지능 국가전략>과도 내용이 대동소이한 점은 정책의 효과에도 의구심을 갖게 합니다. 앞으로 위원회에서 이 총력전의 목적과 수단이 무엇인지 명확히 해주길 바랄 뿐입니다. 2. 우리나라 AI 정책 소식 (2): AI 기본법 공청회 개최 정부가 AI를 위한 총력전을 발표한 후 언론의 시선은 국회로 쏠렸습니다. AI 기본법은 언제 만드냐는 지적입니다. 물론 올해 22대 국회 개원과 동시에 여러 의원이 각기 법안을 발의하긴 했습니다. 그러나 그간 주무위원회인 과학기술정보방송통신위원회의 업무가 지체되었고, 발의안 대부분이 이전 국회에 제출된 내용을 재탕하여 최신 생성형 AI 기술이나 딥페이크 성착취물 등의 현안 반영이 필요해 아직 갈 길이 먼 상태입니다. 지난 9월 24일 국회에서 AI 기본법 공청회가 열린 배경입니다. 여당 국민의힘은 이전 레터에서 해당 법안에 대한 시민사회의 우려를 중심으로 다뤘던 정점식 의원안을 당론으로 정했습니다. 민주당은 아직 당론을 도출하진 못했으나 의원별 발의안 내용이 대동소이하기에 채택이 오래걸리진 않을 것으로 보입니다. 여기에 더해 공청회에서는 참여연대와 정보인권연구소 등의 시민단체가 준비한 이른바 시민사회안을 함께 논의했습니다. 국회 밖 재촉하는 목소리가 커져만 가는 상황에서 공청회는 법안의 방점을 산업 진흥에 두고 일단 통과시킬 것인지, 위험 방지를 위한 안전 규제를 보완할 것인지를 두고 갈팡질팡하는 모습이었습니다. 특히 AI 기본법이 중요하다는 점에 이의를 제기하는 사람은 없었지만 일부 의원은 기본법 제정이 정말 시급한지 질문을 던지기도 했습니다. 시민사회안을 제출한 시민단체들은 이후 논평에서 정책입안자의 실질적인 AI 위험성에 대한 인식이 여전히 부재하다며 이제부터라도 구체적인 쟁점 논의가 필요하다고 지적했습니다. 이 와중에 AI가 국가의 미래 30년을 좌우할 것이라는 정부가 3개월 남은 올해 안에 기본법이 통과되길 기대하고 있다는 점이 마음에 걸립니다. 3. 캘리포니아 주지사: ‘규제는 필요하나, 이 법안은 아니다.’ 지난주 AI 윤리 레터에서 미국 캘리포니아주의 AI 규제 법안 SB1047을 재차 다룬 직후, 개빈 뉴섬(Gavin Newsom) 주지사의 거부권 행사 소식이 들려왔습니다. 레터에서 지적했듯 AI 모델 개발자에게 해당 모델의 파생 모델이나 서비스로 인한 피해에 대해서도 책임을 묻는 등 다소 파격적인 내용 때문에 논쟁을 불러일으킨 바 있죠. 실리콘밸리가 속한 곳이자 AI 상위 50개 기업 중 32개가 적을 둔 곳인만큼 단순 한개 주의 법 이상의 의미를 갖고 있는 법안이었습니다. 뉴섬 주지사는 성명서를 통해 법안의 방향성과 AI 규제 필요성에는 공감한다면서도 아래와 같은 이유로 해당 법안에 동의하기 어렵다고 했습니다: 실질적인 위험성보다 비용과 계산 규모에 따라 대규모 모델에만 초점을 맞춰 규제를 도입하여 위험한 소규모 특화 모델을 간과할 수 있음 고위험 환경이나 중요한 의사결정, 민감 데이터 사용 여부를 고려하지 않고 모든 대규모 시스템에 엄격한 기준을 적용함 이를 두고 벤처캐피탈을 비롯한 산업계의 로비가 성공했다는 평가도 있지만, 뉴섬 주지사가 지난 한달여 간 주의회를 통과한 17개의 생성형 AI 규제 법안에 서명한 것을 보면 규제 여부보다 방식에 대한 고민의 결과로 보입니다. 그중에는 딥페이크 성착취물을 규제하기 위한 법안들도 포함되어 있죠. 동시에 캘리포니아 주정부는 과학적 증거 기반의 생성형 AI 위험 분석이 필요하다며 새로운 이니셔티브를 출범시켰습니다. 보는 눈이 많아 늦지 않게 정책을 도출해야 할 것으로 보입니다. #feedback 오늘 이야기 어떠셨나요?여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.

처벌법 개정, 딥페이크 성범죄를 끝낼 수 있을까 by. 🧑‍🎓민기 👋 안녕하세요, 오늘부터 AI 윤리 레터 필진으로 합류한 🧑‍🎓민기라고 합니다. AI 기술과 국내 IT 정책을 중심으로 관점을 전해드리려고 합니다. 잘 부탁드립니다! “딥페이크 성착취물”을 일컫는 여러 용어가 있습니다. “허위영상물”(성범죄특별법) “성적 허위영상물” “불법합성물” “불법합성 성착취물”, 그리고 지인의 얼굴을 합성하여 제작한 “지인능욕”도 겹치는 범주로 볼 수 있습니다. 불법합성물 제작 방식은 딥페이크 방식 외에도 다양한 방향으로 발달했습니다. 아래에서는 용어의 인지도와 가독성을 고려해, “딥페이크 성착취물”이라는 용어로 통일했습니다. 지난주 목요일인 9월 26일, ‘딥페이크 성착취물 소지·시청 처벌법’(성폭력범죄처벌특례법 개정안)이 국회 본회의를 통과했습니다. 기존에 유포목적으로 딥페이크 성착취물을 제작한 것만 처벌하던 범위를 넓혀서, 유포목적이 아니더라도 제작 행위를 처벌하고 소지와 시청도 처벌하는 조항을 만든 것입니다. 이 법은 대통령의 공포 절차만 거치면 곧바로 시행됩니다. 이 날은 22대 국회가 열린 이후 두번째로 여야 합의를 통해 민생법안을 대규모 처리한 날이기도 했습니다. 분명 기뻐해야 할 일이지만, 시민사회와 여성단체는 속시원한 환영 입장을 내지 못했습니다. 오히려 환영 뒤로 아쉬움을 얘기하는 내용이 많았습니다. 이 법을 제정하는 과정에서 곧장 한계를 맞닥뜨렸기 때문이었습니다. 잠시 시간을 되돌려, 딥페이크 성범죄 처벌법의 개정 흐름을 짚어봅시다. 2019년 말, N번방 사태가 전국을 뒤흔들었습니다. 이를 계기로 하여 딥페이크 성착취물 제작·유포 행위를 처벌하는 조항이 2020년 3월 처음 성범죄특별법에 개설되었습니다. 그리고 4년이 지나, 2024년 5월에는 소위 ‘서울대 딥페이크’ 사건이 드러나고 가해자가 검찰에 송치됩니다. 피해자 중 한 명과 추적단불꽃의 원은지 활동가가 가해자를 2년간 꾸준히 추적해 경찰에 넘긴 결과였습니다. 이와 함께 실제 딥페이크 성범죄 검거율은 46.8%(2022년, 같은 기간 사이버성폭력 검거율은 72.9%)에 그쳐, 딥페이크 성범죄의 경각심을 일깨우고 경찰이 제 역할을 해야 한다는 목소리가 높아지기도 했습니다. 그리고 8월 말, 1,200명이 참여한 인천 모 대학의 대학생들을 타겟으로 한 딥페이크 성착취물 공유방이 폭로됩니다. 이어서, 1,300명이 참여한 70여 개 대학별 “능욕”방, 3,700명이 참여한 “링크 공유방” 등도 존재가 드러납니다. 딥페이크 성착취물을 자동으로 만들어주는 전세계 이용자 수 22만 명 규모의 텔레그램 봇(bot) 채널의 존재까지 알려지며, 이는 전국적 분노로 커졌습니다. 심지어 중·고교의 학생 및 교사, 군인도 피해자가 되었다는 사실이 밝혀졌습니다. 정치권에서는 딥페이크 성착취물 처벌법의 보완 필요성에 대해 급하게 논의하였고, 성범죄특별법 개정안이 쏟아졌습니다. 8월~9월 사이에 제안 이유에 “딥페이크”를 언급한 성범죄특별법 개정안만 21개가 나왔습니다. 그리고 26일 국회 본회의에서 이를 취합한 개정안이 통과됐습니다. 이번 딥페이크 성범죄 개정안의 핵심 내용은 딥페이크 성착취물을 “유포 목적”으로 제작한 경우만 처벌이 가능하던 부분을 삭제하고, 딥페이크 성착취물 소지·시청 또한 처벌할 수 있도록 조항을 신설한 것입니다. 또 촬영물을 이용한 협박·강요죄(성범죄특별법 제14조의3)에 “편집물”을 추가하였고, 아동·청소년성착취물을 이용한 협박·강요를 강력히 처벌할 수 있도록 조항을 신설하는 내용이 같은 날 개정되었습니다. (청소년성보호법 개정안) 실제로, 기존의 딥페이크 성범죄 처벌법은 “유포 목적”이 입증되지 않으면 처벌할 수 없었기 때문에, 유포 목적이 없었다는 주장으로 가해자가 빠져나가는 일이 가능했습니다. 실제로 직장 동료들을 상대로 딥페이크 성착취물을 제작한 남성이 반포 목적을 입증하기 어렵단 이유로 불송치 결정을 받은 사례도 있었습니다. 최란 한국성폭력상담소 부소장은 2020년 딥페이크 성범죄 처벌법 제정 당시 “유포 목적”을 조항에 추가해야 한다고 주장한 법무부와 법원행정처의 책임을 지적했습니다. 반포 목적이 없어도 인격권과 자기결정권을 침해할 수 있다는 지적에도, ‘단순 제작, 소지에는 법익침해가 없다’며 반포 목적만 처벌해야 한다고 주장한 것입니다. 당시 그러한 주장을 했던 공직자들은 해명 요구에 답변하지 않았습니다. 그렇다면 이걸로 딥페이크 성범죄를 끝낼 수 있을까요. 이 과정에서 두 가지의 아쉬운 장면이 있었습니다. 첫번째는 “알면서” 문구를 둘러싼 논쟁입니다. 9월 24일 국회 법제사법위원회 전체회의에서, 소지·시청을 처벌하는 조항에 딥페이크 성착취물임을 “알면서” 했어야 처벌한다는 조건이 들어간 것입니다. 김용민 더불어민주당 의원 등은 ‘누군가가 보낸 메시지를 열어본 것만으로 처벌될 수도 있다’고 우려하였고 결국 법사위원들은 “알면서” 조건을 추가한 안을 본회의에 올렸습니다. 그러나 이는 “(원칙적으로 과실범은 처벌하지 않기 때문에) 고의로 그와 같은 행위를 한 경우에 처벌한다”, “모든 성폭력 가해자는 몰랐다고 주장한다”라는 지적을 받았고, 이틀 후 본회의에서는 “알면서”가 다시 빠진 안이 올라와 통과되었습니다. 두번째는 소지·시청 처벌법과 함께 논의되었지만, 통과되지 못한 다른 법안들입니다. 다수당인 더불어민주당의 ‘딥페이크 성범죄·디지털 성폭력 근절대책특위’는 23일 딥페이크 성범죄 개정과 함께, 디지털 성범죄 위장수사를 성인으로 확대, 피해영상 차단을 위한 경찰의 응급조치 조항 신설, 성범죄특별법의 ‘성적수치심’을 ‘성적불쾌감’으로 개정하는 내용을 신속히 통과시킬 것을 결의하였습니다. 여당인 국민의힘 25일 역시, 위장수사 범위를 확대하는 안을 추진하고 신속한 삭제를 지원하겠다고 밝혔습니다. 그러나 이 중 지난달 국회의 문턱을 넘은 안은 없었습니다. 특히, 경찰이 곧장 피해영상 차단을 요청하는 안은 경찰과 방송통신심의위원회(방심위)의 반대로 인해 무산되고, 현행대로 방심위가 담당하게 되었습니다. 이런 장면들은 아직도 디지털 성범죄 근절을 위해 국회와 정부가 갈 길이 멀다는 것을 보여줍니다. 디지털 성범죄에 대한 인식과 논의가 미숙한 수준에 지나지 않으며, 사법제도가 피해자의 보호와 회복을 외면하고 있다는 점입니다. 법이 통과된 뒤 27일 한국성폭력상담소 등 155개의 여성단체 공동성명에서는, “여성폭력 사건이 발생해 공론화되고, 국민의 공분이 일어난 이후에야 국회가 움직여 법안과 대책을 만들기 때문”이라는 점을 지적했습니다. 2018년 법조계 미투를 폭로했던 서지현 검사도 페이스북에 <제발 정신 좀 차리세요!>라는 제목의 글을 게시했습니다. 글에서 서지현 검사는 “N번방 때 저 정도 법을 만들어놓고 ‘할 일 다했다’고 자축해놓고, 이번 역시 같은 모습”이라며 국회의 태도를 비판하였습니다. 또한 “2020년에 누락한 것의 수정에 불과”, “벌써 2-3년 전 내놓은 권고인데 (…) 단 한 개도 실현되지 않았다”며 국회의 늑장 대응을 질타하고 보다 많은 관심을 촉구하기도 했습니다. 디지털 성범죄는 기술의 발전에 힘입어 다변화하고 있습니다. 그러나 국민적 공분이 일어난 뒤에야 대책을 마련하는 국회와, 그런 국회의 반응만 바라보고 있는 사법부와 행정부의 반응은 느리기만 합니다. 성범죄가 주로 여성의 문제이기 때문에 그런 것일까요? 2022년 대선에서는 후보를 본딴 딥페이크 영상을 내세웠다가, 딥페이크 기술이 보편화되자 2년 만인 2024년 총선을 앞두고는 딥페이크를 활용한 선거운동을 금지한 것과 비교하면 차이가 분명해보입니다. 섣불리 기술에 해결을 떠넘기는 흐름도 지적해야 할 것 같습니다. 경찰은 디지털 성범죄 대응 예산이라며 허위조작 콘텐츠 탐지기술에 27억원, 허위영상물 탐지 소프트웨어 고도화에 5억원 예산을 편성했다고 밝혔습니다. 그러나 이미 딥페이크 피해를 겪은 피해자에게 탐지 기술이 얼마나 도움이 되는 걸까요? 여성가족부 폐지와 같은 반성평등 정책을 철회하지 않는 정부를 보면, 오히려 “정부가 성범죄를 키웠다”고 해도 틀리지 않을 것 같습니다. 정작 디지털성범죄 피해신고 등을 담당하는 온라인피해365센터의 예산은 20% 삭감되었다는 지적도 나왔습니다. 제도적 미비점은 보완이 되었다지만, 사회인식의 전환은 이제 시작입니다. 딥페이크 성착취물 등의 요건을 “성적 수치심”이 아닌 "성적 불쾌감” 등으로 개정하고, 성범죄 사법절차의 초점을 피해자의 회복과 보호에 맞춰야 합니다. 무엇보다 아직도 “무고하더라도 딥페이크 시청으로 조사·처벌받을 수 있다”는 가짜뉴스가 버젓이 퍼지고 있습니다. 딥페이크 피의자의 83%가 10대라는 통계는 그런 사회구성원들, 특히 남성 주도 사회가 그런 형태로 성범죄 해결 노력을 적대시하고 책임을 외면해 왔기 때문에 이를 그대로 학습한 결과일 것입니다. 책임있는 사회구성원으로서 내가 성범죄 책임을 뒤집어 쓸 것이라는 가짜뉴스를 퍼뜨릴 시간에, 오히려 우리는 어떻게 책임을 다할 것인가를 논해야 하는 때입니다. 분명한 사실은, 딥페이크 성범죄는 엄연한 범죄라는 것입니다. 가해자는 숨을 수 없고, 응당한 책임을 질 것입니다. 더 녹기 전에 by. 💂죠셉 지난주 소풍 벤처스와 카카오 임팩트가 주관한 <2024 클라이밋 테크 스타트업 써밋>에 다녀왔습니다. 2박 3일의 기간 동안 기후 문제에 진심인 시민 단체, 씽크 탱크, 스타트업과 이들을 지원하는 VC들 그리고 여러 비영리 재단의 관계자분들과 함께했는데요. 기후 테크와 AI라는 주제에 집중하는 행사였던 만큼, 이 분야의 기술 트렌드를 선도하고 있는 여러 오피니언 리더들의 이야기에 귀 기울여 볼 수 있었습니다. 기후에 대해 얼마나 무지했는지, 문제 해결을 위해 여러 방면에서 어떤 노력이 이뤄지고 있는지 배울 수 있어 좋았던 것과는 별개로, 참석한 세션들에서 거대언어모델(LLM) 일변도인 현재 AI 산업의 몇 가지 경향성을 볼 수 있었습니다. ‘효율'과 ‘스케일'. 인류가 풀지 못한 난제를 AI가 풀어줄 것이라는 주장에서 자주 언급되는 단어들이죠. AI를 통한 기후 문제 해결의 맥락에서도 비슷한 주장들이 보였고, AI 윤리 관점에서 흥미롭게 들여다볼 수 있었습니다. 세탁기의 아이러니 AI 전문 저널리스트 캐런 하오 (Karen Hao)는 얼마 전 The Atlantic에 기고한 "AI에 대한 마이크로소프트의 위선"이라는 글을 통해 친환경 기업 이미지를 표방하는 마이크로소프트가 AI 하이프를 이용해 엑손모빌(ExxonMobil)과 셸(Shell)과 같은 화석 연료 회사들과 더 많은 사업을 성사시켰음을 고발했습니다. 해당 클라이언트들과 마이크로소프트의 반론은 ‘효율’의 증진입니다. 더 성능 좋은 AI를 탑재함으로써 기계가 화석 연료 추출에 필요한 작업을 더욱 효율적으로 수행하게 되면 결과적으로 탄소 배출량도 줄일 수 있다는 논리죠. 실현될 수만 있다면 이론적으로는 그럴듯해 보이지만 사실 논란의 여지가 있습니다. 이번 써밋의 기조연설자였던 한양대학교 이상욱 교수가 세탁기의 예시를 통해 지적했듯, 이는 전체 생산량이 동일하다는 가정하에만 유효한 주장이기 때문이죠. 과거 세탁기의 발명은 가사 노동으로부터의 해방을 약속했지만, 결과적으로 손쉬운 세탁을 경험한 사람들이 이전보다 더 많이, 더 자주 옷을 세탁하게 되어 노동의 총량은 유지된 사례가 있습니다. 시간 대비 더 효율적인 드릴 작업이 가능해진 석유회사의 기계는 총생산량의 증가를 향해 더 바쁘게 작동하지 않을까요? 그리고 이런 변화가 환경에는 어떤 결과를 가져오게 될까요? 작은 것이 아름답다? AI 산업에서 스케일 또한 빼놓을 수 없는 요소입니다. 이번 써밋에서도 더 많은 GPU 확보의 필요성과 데이터 센터를 가동하기 위한 에너지의 확보 등이 뜨거운 화두 중 하나였는데요. 더 큰 모델, 더 큰 데이터셋, 더 많은 GPU의 확보가 더 나은 성능으로 이어진다는 것은 현재 업계에서 거의 상식처럼 받아들여지고 있습니다. 종종 지적되는 AI의 부정확성, 설명 불가능성 등 복잡한 윤리 이슈 또한 ‘시간이 해결해 줄 문제'로 만들어버리는 마법의 지팡이 같은 믿음이기도 하죠. 프랑스의 국립 과학 기술 연구 기관인 Inria의 리서치 디렉터 가엘 바로코(Gael Varoquaux)와 알렉산드라 사샤 루치오니(Alexandra Sasha Luccioni), 메레디스 휘테커(Meredith Whittaker)가 몇 주 전 발표한 논문을 소개합니다. 이들은 2012년 알렉스넷의 성공을 기점으로 AI 업계의 상식이 된 ‘스케일의 신화’에 대한 의문을 제기합니다. 수확 체감의 법칙 (생산에 필요한 요소 중 다른 요소들은 변화하지 않은 상태에서 한 생산요소가 증가할 때 단위당 한계 생산량은 줄어드는 현상) 등을 통해 다양한 각도에서 스케일의 신화를 해부하는데요. 특히 이미지 인식 등 집중을 요구하는 특정 작업의 경우 작은 모델의 성능이 오히려 큰 모델을 능가하는 사례가 종종 있다는 지적이 눈에 띕니다. 수행해야 하는 작업의 종류에 따라 다양한 크기의 모델을 사용할 수 있다는 사실은 다수의 빅테크 기업들이 AGI(=모든 작업을 수행할 수 있는 일반 인공지능) 하이프를 걸고 있는 상황에서 특히 흥미롭습니다. 다목적을 수행하며 계속 거대해지는 소수의 AI모델에만 의존하는 지금이 환경에도 최선이라고 할 수 있을까요? 나가며 기후와 AI. 하나만 이야기해도 어려운 주제를 생각하다 보니 우리가 살고 있는 세상이 얼마나 가늠하기도 힘든 거대 복잡계인지 새삼 느낍니다. 한 개인의 지능과 지혜를 아득히 뛰어넘는 이러한 복잡계를 대함에 있어 AI라는 도구는 대단히 매력적이고, 실제로 많은 영역에서 도움이 되겠죠. 그런데 당장 피부로 느껴지는 지구 온난화 등의 난제에 대한 해결책으로서 AI를 이야기할 때 눈여겨봐야 하는 점은 현재의 논의가 대부분 상상에 기초하고 있다는 것입니다. 앞서 언급한 캐런 하오가 현 상황을 논평하는 멋진 한 줄을 썼습니다. “생성형 AI 패러다임에선 불확실성이 확실성을 이긴다. 추측이 현실을 지배하며, 과학은 믿음으로 유예된다.” 흔히 의사 결정 과정의 중요한 요소로 ‘되돌릴 수 있는지(reversible)’ 여부를 이야기합니다. 되돌릴 수 있는 문제라면 빨리 시도해 보고 돌이켜 기회비용을 줄일 수 있지만, 되돌릴 수 없는 문제라면 더욱 신중할 필요가 있다는 것이죠. 기후 문제는 명백히 후자입니다. 하지만 천문학적인 자원의 투입으로 더 효율적이고, 거대해진 AI가 문제를 해결해 주리라는 보장은 어디에도 없습니다. 그럼 어쩌라는 거냐? 물어보신다면 저에게도 답은 없습니다. 하지만 분명한 건, 수십억 인구의 일상에 매우 중대한 영향을 미칠 수 있는 문제의 스케일에 비해 현재 AI 패러다임은 극소수 사람들에 의해 만들어지고 있다는 사실입니다. 기술 미래 예측 메카니즘의 핵심은 기술 뒤에 늘 사람이 있다는 것이죠. 불확실한 추측으로 누가 이득을 보고, 소외당하고, 혹은 어떤 담론이 득세, 혹은 배제당하는지를 날카롭게 질문해야 합니다. 일단은 조금이라도 더 많은 사람들이 이 고민에 동참해야겠죠. 이번 써밋 또한 당장의 해결책을 찾기보다는 그 논의를 시작하기 위한 시작점이라는 점에서 의의가 있었다고 생각합니다. #feedback 오늘 이야기 어떠셨나요?여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.

AI 윤리 뉴스 브리프 2024년 10월 첫째 주by 🍊산디 1. 미스코리아의 자질 처음 이미지를 보았을 때 허위정보일 거라 생각했습니다. 딥페이크 성착취물로 인한 피해가 명백히 존재하고, 형사 수사와 소송이 진행 중이며, 이를 예방하기 위한 입법까지 이루어지는 와중에 이런 일이 발생했다는 사실이 참담합니다. 미스코리아는 도대체 어떤 여성을 선발하는 자리입니까? 성범죄 목적으로 활용되는 기술마저도 밝게 웃으며 괜찮다고 이야기해주는 아름다움을 기대했던 건가요? 주최측은 사과와 함께 “인공지능(AI) 기술이 영화, 광고, 교육 등에 광범위하게 활용되는 세태에 대한 생각을 듣기 위해 질문을 제시한 것”이라고 해명했습니다. 그런 취지의 질문이었다면 🦜AI 윤리 레터가 매 주 쏟아내는 질문들을 활용하셨다면 좋았을 텐데요. 🦜 더 읽어보기- 산업화하는 딥페이크 성착취물(2024-08-26)- 딥페이크 성착취물 논의, 어디로 흘러가는가(2024-09-02)- 사진 내리기 말고 할 수 있는 일: AI 기업에 요구하기(2024-09-04)- 정말로 대안이 없을까?(2024-09-11) 2. 떠나는 리더십, ‘비영리단체’ 오픈AI는 없다 오픈AI의 핵심 인물 중 하나인 미라 무라티 최고기술책임자(CTO)가 회사를 떠납니다. 이유는 알려지지 않았습니다. 무라티는 샘 올트먼 축출 당시 임시 CEO를 맡으며 그의 복귀를 지지한 것으로 유명하죠. 동영상 생성 모델 ‘소라’의 학습 데이터를 묻는 질문에 ‘모른다’고 답하며 바이럴을 탔던 인물이기도 합니다. 그의 이탈 소식에 회사 직원들은 ‘WTF(이게 뭐야!)’ 이모지를 공유했다고 하네요. 미라 무라티의 이탈은 오픈AI가 수익 사업체로 개편하고 샘 올트먼에게 7%의 지분 제공하기 위한 투자금 유치 마무리 단계에서 이루어졌습니다. 7%의 지분의 경제적 가치는 105억 달러로 추정됩니다. 오픈AI는 창립과 함께 비영리단체로서의 기업 구조를 자신들의 신뢰가능성을 입증하는 증거로 언급해 왔습니다. 하지만 마이크로소프트로부터 투자금을 끌어들이기 위해 2019년에는 영리부문을 만들더니, 이제는 투자자의 이익 상한선을 ‘소급적으로’ 폐지하면서 비영리 사업에 들어가던 돈까지 영리적 목적으로 활용하려는 모습입니다. 이로써 재정적 이익보다 인류의 이익을 앞세우겠다는 창립 당시 비전은 사라진 듯 하네요. 3. AI 디지털교과서, 왜 비판을 막나요? 내년부터 초등 3~4학년, 중1, 고1 영어, 수학, 정보 과목에 도입된다는 AI 디지털교과서. 그 중 정보, 수학 과목 AI디지털교과서 발행사의 다수가 검정심사에서 탈락했습니다. 검정심사를 통과한 교과서는 5개월 여 간 현장 적합성 검토를 거치게 됩니다. 언론 보도는 수십억을 투자하였으나 검정에 탈락하면서 내년 심사를 기약해야 하는 기업들의 처지에 집중합니다. 기업들이 교육부를 믿고 투자한 돈을 모두 날리게 되었다는 것이죠. 소수의 기업이 먼저 교과서 사업에 진출하는 데 대한 독과점 우려도 함께 제시합니다. 기업의 투자와 무관하게 교과서의 품질은 타협할 수 있는 성질의 것이 아닙니다. AI 디지털교과서의 필요성과 품질을 걱정하는 사람들의 목소리는 어디서 들을 수 있을까요? 서울시교육청은 전교조의 ‘AI 디지털교과서 도입 중단 촉구’ 주장이 중앙정부 확인 결과 허위임이 확인되었다며 수사를 의뢰하겠다고 했습니다. 정책 비판과 ‘허위’의 경계를 구분지을 수 있을까요. 자녀가 초중고교생인 학부모를 대상 AI 디지털교과서에 대해 물은 설문조사에서 응답자의 1/3은 AI 디지털교과서를 ‘들어본적도 없다’고 답했습니다. AI 디지털교과서에 대한 비판적 토론은 더욱 장려되어야 합니다. 진위를 밝히는 것은 토론이지 입막음이 아닙니다. 이번에도 형사 소송은 반론을 막는 수단이 되어버리는 것일까요. 4. AI 오용과 개발자의 책임 이전 🦜레터에서 소개드렸던 것처럼, 지난 8월 29일, 미국 캘리포니아 주 의회는 AI 규제 법안인 '안전하고 신뢰할 수 있는 최첨단 인공지능 모델을 위한 혁신법(SB 1047)'을 통과시켰습니다. 주지사 승인 단계만을 남겨둔 상태입니다. 개발자에게는 AI 모델 전 생애주기동안 발생할 수 있는 위험을 방지하기 위한 ‘합리적인 주의(reasonable care)’를 담은 프로토콜을 서면으로 만들어 보관하고, 주 법무장관이 그 원본에 접근할 수 있도록 공개할 의무가 부여됩니다. 이외에도 필요 시 모델을 중단할 수 있는 ‘킬 스위치’ 기능 개발, 모델의 변조를 방지하기 위한 안전조치 의무 등이 ‘개발자’에게 부과됩니다. 해당 법안은 개발자를 수범자로 합니다. '개발자(developer)'란 특정 모델의 초기 훈련을 수행하는 사람으로, 충분한 양의 컴퓨팅 파워와 비용을 사용하여 모델을 훈련하거나, 기존 모델 또는 파생 모델을 파인튜닝(fine-tuning)하는 데 있어 법이 정한 양보다 더 많은 컴퓨팅 파워와 비용을 사용한 자를 뜻합니다. 개발자가 개발한 모델뿐만 아니라 이를 토대로 파생된 모델 또한 개발자의 책임 범위에 포함됩니다. 이는 AI 모델을 복사하여, 파인튜닝이 아닌, 사후적인 수정 훈련을 가한 파생 모델(derivative)로 인해 위험이 발생했어도 최초 AI 모델의 개발자에게 책임을 묻겠다는 의미입니다. AI가 매개된 위험 발생 시 책임소재를 묻기 어려운 ‘책임 공백’이 발생할 것이라는 우려의 목소리가 존재합니다. 다른 한편 이러한 입법 움직임이 연구자, 오픈소스 커뮤니티의 AI 모델 개발을 저해할 것이라는 비판도 존재합니다. 하지만 법이 정한 기준 즉, 1억 달러 이상의 연산비용을 감당할 수 있는 개발자는 오픈AI와 같은 극소수에 불과할 것 같네요. 🦜더 읽어보기- 초지능 AI 규제 법안과 AI 하이프의 상관관계 (2024-09-02) #feedback 오늘 이야기 어떠셨나요?여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.

인간 중심의 인공지능이 그래서 뭔데요? by 🥨채원 여기저기서 많이 보이는 말이죠. “인간 중심의 AI” — 언뜻 봤을 때 좋아보이긴 하는데, 정확히 무슨 뜻인지는 아무도 모르는 것 같기도 합니다. 한편에서는 인간 중심의 AI라는 개념 자체가 많은 이들이 동의하는 하나의 정의를 내리기 어렵다고 주장할 수도 있습니다. 새롭게 등장하여 아직 충분한 논의가 이루어지기 어려웠다고도 볼 수 있고요. 이런 경우, 일단 이 개념이 실제로 어떻게 쓰이는지를 분석하면 조금 더 명확하게 어떤 의미로 받아들여지고 있는지 알아볼 수 있습니다. 이러한 접근방식을 사용하여, 학계에서 쓰이는 인간 중심의 AI라는 개념이 구체적으로 어떻게 논의되는지 알아본 연구가 있습니다. 오늘 제가 같이 읽어보려고 가져온 ‘인간 중심의 인공지능에서 무엇이 인간 중심적인가?: 연구 지형 지도‘라는 제목의 논문입니다. 해당 논문은 2023년에 CHI (Conference on Human Factors in Computing Systems)라는 인간-컴퓨터 상호작용 분야의 학술대회에서 발표되었습니다. 저자들은 ‘인간 중심의 AI’ 혹은 ‘인간 중심의 머신러닝’을 키워드로 하는 (논문 작성 당시 2022년 7월 기준) 이천여편의 논문 중, 몇 단계의 필터링을 걸쳐 최종적으로 431편의 논문을 분석하였습니다. 그리고 인간 중심의 AI라는 개념이 얼마나 다양하게 쓰이고 있는지 실증적으로 보여줍니다. 저자들이 분석한 논문을 기반으로 만든 지도를 같이 살펴볼까요? 여기서 색깔은 각각의중심 주제를, 크기는 해당 주제에 속하는 논문의 비율을 보여줍니다. 오른쪽 하단의 가장 큰 파란색 원에서 보여주듯이, 인간 중심의 AI 연구 중 절반 정도는 인간 중심의 접근방식을 사용한 디자인 혹은 평가 방식을 사용하는 경우였습니다. 여기서 인간 중심의 접근도 다양한 맥락에서 사용되었습니다. 예를 들어 일부 연구는 AI가 사용되는 시스템이 사용자 (안무가나 방사선 전문가, 임산부 등)를 염두해 둔 디자인이라는 점에서 해당 AI를 ‘인간 중심적’이라고 일컫습니다. 이 외에도 왼쪽 하단의 녹색 부분이 나타내는 설명 가능하고 이해 가능한 AI 연구가 20% 정도, 왼쪽 상단의 분홍색으로 표현된 AI와 인간이 같은 팀으로 협력하는 시나리오의 연구가 20%정도 차지하고 있습니다. 이외에 오른쪽 상단의 다양한 노란색 원들은 공정성이나 편향 등을 연구하는 등 다양한 접근 방법의 윤리적 AI 연구를 나타냅니다. 저자들이 논문을 작성했던 2022년 여름에서 2년 이상 지난 지금 이러한 주제의 연구는 훨씬 많이 늘어났기 때문에, 지금도 이와 같은 비율로 연구가 이루어지지는 않을 수도 있습니다. 그러나 이러한 문헌 분석은 인간 중심의 AI라는 분야 안에 얼마나 다양한 주제가 공존하는지 보여줍니다. 여전히 알쏭달쏭한 인간 중심의 AI라는 개념이지만, 앞으로는 해당 키워드를 들었을 때 이 지도를 떠올리면서 구체적으로 어떤 의미로 사용되었는지 좀 더 명확하게 살펴볼 수 있지 않을까요? 누군가 특정 기술이 ‘인간 중심적’이라고 할 때, 누군가는 그저 사용자의 편의를 고려했다는 의미로 쓰기도 하고 누군가는 인간과 AI가 같이 무언가 한다는 의미로, 혹은 AI를 둘러싼 윤리, 법리, 신뢰의 문제를 이야기 하기도 한다는 것을요. 이러한 분석을 바탕으로 저자들은 인간 중심의 AI라는 단어에 대한 나름의 정의를 제공합니다. 인간 중심의 인공 지능은 데이터를 활용하여 인간 사용자에게 권한을 부여하고 지원하는 동시에 데이터의 기본 가치, 편견, 한계, 데이터 수집 및 알고리즘의 윤리를 공개하여 윤리적이고 상호 작용적이며 논쟁 가능한 사용을 촉진합니다.” (Capel & Brereton, 2023, 13쪽) 독자분들은 이 정의에 대해 어떻게 생각하시나요? 이 글을 읽기 전에 어렴풋이 갖고 있던 생각과 비슷한가요? 앞으로도 제가 재밌게 읽은 논문을 종종 가져와보도록 할게요! 지적장애인과 AI 기술의 바람직한 관계는? by 🤖아침 나와 AI 기술의 관계도 복잡한데, 지적장애인과 기술의 관계라니요. 장애인 당사자도, 관련 전문가도 아닌 입장에서 상당히 막막했지만 지난 여름 서울시공익활동지원센터에서 열린 공익활동 모임에서 이 질문을 마주하게 되었습니다. 지적장애인 아들을 둔 모임장님이 제시한 목표는 "인공지능 시대에 지적장애인이 소외되지 않도록 지금 우리가 할 수 있는 일이 무엇인지 찾고, 도움을 구하고, 시작하는 것". 기술의 희망찬 약속을 의식적으로 경계해온 저로서는 처음에 다소 긴장되기도 했습니다. 물론 모임에서는 폭넓은 관점을 다루며 기술이 장애인의 삶을 개선할 수 있으리라는 기대부터 오히려 소외를 강화하지 않을까 하는 우려까지 편하게 논의했는데요. 그럼에도 기술 비판적인 이야기를 꺼낼 때면 문득 작동하는 자기검열, 장애인과 AI의 긍정적 전망에 내가 뭐라고 찬물을 끼얹나 싶은 마음을 다스려야 했습니다. 불확실한 마음을 다스리고 갈피를 잡기 위해서 관련 자료를 함께 찾아보기도 했는데, 생각보다는 최근 AI 기술과 지적장애에 연관되는 사례를 찾기 쉽지 않았습니다. 시각 접근성을 개선하는 서비스나, 수어를 인식하는 컴퓨터 비전 기술, 언어 장애인을 위한 개인화된 음성 인식, 신체/인지 장애를 보조하는 외골격 로봇 등 각종 보조 기술을 테크 기업이 즐겨 홍보한다는 점을 생각했을 때 의외였습니다. 지적장애와 더 직접적으로 연결되는 사례 중 쉽게 접할 수 있는 것은 발달장애 진단 및 돌봄을 돕는 AI 모델이나 지적장애인 교육을 위한 맞춤형 챗봇 정도였습니다. 이같은 사례들은 주로 장애인을 기술의 혜택을 받는 수동적 수혜자로 상정하고 있어 아쉬운 점도 있습니다. 기술 수혜자보다 사용자로서 장애인 당사자의 삶과 기술이 연결되는 경험은 어떻게 만들 수 있을까요? 이런 고민을 거쳐, 실행에 옮길 수 있는 구체적 결과물로 (경도)지적장애인을 대상으로 하는 AI 워크숍을 설계하고 진행해보게 되었습니다. 10월 8일에 모임 과정과 결과를 (모임장님이) 공유하는 오프라인 행사가 있으니 관심 있는 분은 들러주세요. 보다 자세한 기록도 별도의 글로 정리할 예정입니다. 📆 소식- 당신 옆의 공.공.공. (2024-10-08) 서울시공익활동지원센터- AI 윤리와 가이드라인 (2024-10-21, 온라인) 국립중앙도서관 #feedback 오늘 이야기 어떠셨나요?여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.

AI 윤리 뉴스 브리프 2024년 9월 4째 주by 🧙‍♂️텍스 1. 오픈AI의 챗GPT o1 프리뷰 공개 2024년 9월 12일, 오픈AI는 새로운 모델인 챗GPT o1을 프리뷰로 공개했습니다. 이 모델은 챗GPT에서 하나의 질문에 대해 복수의 답변과 추론 과정을 생성하도록 학습되었으며, 이 중에서 최선의 답변을 선택하는 능력을 강화했습니다. 추론 과정에서 복수의 응답을 선별하는 단계를 추가하고, 이를 위해 더 많은 시간과 계산 자원을 할당한 점에서 기존의 모델과 차별화됩니다. 데이터와 모델의 규모가 성능을 담보한다는 신경망 스케일 법칙(neural scaling law)이 학습 과정에만 적용되었다면, 이제는 이 법칙이 추론 과정에 걸리는 시간에도 확장되어 적용되고 있습니다. 자연스럽게, 여러 번의 질의 과정을 반복하면 오류가 발생할 확률은 기계적으로 줄어듭니다. 오픈AI의 챗GPT o1 프리뷰 공개 전, 오픈AI가 새 모델에 대해 최대 월 $2000의 구독제를 고려 중이라는 뉴스가 있었습니다. 현재 챗GPT 구독료가 월 $20임을 감안하면, 가장 비싼 모델은 추론 과정에 꽤 많은 자원을 할당하리라고 추측해 볼 수 있습니다. 이 정도의 계산 자원을 할당하면 AGI를 만들기에 충분한 성능을 제공하고 AI 정렬(Alignment) 또한 잘 이루어진다고 오픈AI가 자신하는지 궁금해집니다. 다만 아쉬운 점은 어떤 응답과 추론 과정을 좋은 것으로 간주할지에 대한 기준이 공개되지 않았다는 사실입니다. 최근 공개된 AI 안정성을 위한 강화학습 기법인 Rule-based Rewards에서 일부 기준을 다루고 있지만 그 외의 방법론에 대해서는 알려진 바가 없습니다. 심지어 오픈AI는 새로운 모델의 작동을 분석하는 유저들에게 경고하는 등 서비스용 AI 모델을 더욱더 불투명하게 만들고 있습니다. 오픈AI는 새로운 모델이 기존 모델 대비 비약적인 성능 향상을 보여준다고 주장하고 있습니다. 하지만, 기초적인 산수인 9.11과 9.9의 크기를 혼동하고, 추론 기준이 불투명한 모델에 대한 신뢰는 고민해 봐야 할 문제일 것으로 보입니다. 🦜 더 읽어보기- OpenAI Threatens to Ban Users Who Probe Its ‘Strawberry’ AI Models (Wired, 2024-09-17) 2. AI 사진 앱의 외설스러운 사진 합성 최근 기사에서는 네이버 자회사 스노우의 소다(SODA)와 스노우(SNOW) 사진 앱에서 제공하는 유료 AI 이미지 서비스에서 사용자가 의도하지 않은 외설스러운 사진이 합성되는 문제가 제기되었습니다. 스노우 측은 네거티브 프롬프트(negative prompt)를 통해 이러한 문제를 필터링하려 했으나, 이 기능이 완벽하게 작동하지 않았음을 인정하며, 앞으로 이를 더욱 고도화할 계획을 밝혔습니다. 그러나 원치 않는 결과에 대한 설명은 담은 네거티브 프롬프트의 개선은 필요하지만 근본적인 해결책은 아닙니다. 지난 번 AI 윤리 레터에서 공개 데이터셋인 LAION-5B가 여러 포르노 사이트로부터 데이터를 가져와 아동 성 착취물까지 포함하고 있다는 사실을 지적한 바 있습니다. 학습 데이터에 외설 이미지가 없다면 이러한 문제가 발생할 가능성은 매우 낮아지기 때문에, 이미지 생성 파운데이션 모델부터 철저히 검증되어야 합니다. 하지만, 파운데이션 모델의 검증 및 재학습은 큰 비용을 수반하기 때문에 개별 기업들은 네거티브 프롬프트와 같은 임시방편적 해결책을 선택하는 유혹을 받습니다. 따라서 실질적인 문제 해결을 위해서는 모든 기업에 동등하게 적용될 수 있는 정책이 필요합니다. 예를 들어, 문제를 야기한 파운데이션 모델의 폐기를 강제하는 등의 조치가 고려될 수 있습니다. 오픈소스 파운데이션 모델을 사용했다는 것이 면죄부가 될 수는 없기 때문입니다. 🦜 더 읽어보기- 사진 내리기 말고 할 수 있는 일: AI 기업에 요구하기 (2024-09-04) 3. 소버린 AI와 파운데이션 모델, 그리고 서비스 지디넷이 2024년 9월 16일에 보도한 네이버 하정우 퓨처AI센터장 인터뷰는 미국 시장 외의 기업이 AI에 어떻게 대응하고 있는지를 잘 보여주는 기사입니다. 최근 AI 관련 다양한 주제를 기업의 관점에서 다루고 있어 흥미롭게 읽을 수 있었습니다. 하 센터장은 자본 규모에서 큰 차이를 보이는 글로벌 빅테크와의 직접적인 기술 경쟁을 피하고, AI를 활용한 킬러 애플리케이션 서비스 발굴에 집중해야 한다고 주장합니다. 또한, 국내를 넘어 중동이나 아세안 지역에서 파트너 국가를 찾아 소버린 AI 개발을 추진하고, 이를 통해 AI를 수출해야 한다고 강조합니다. 그는 소버린 AI가 단순히 네이버의 어젠다가 아닌 대한민국의 성장 어젠다임을 강조하며, 개별 기업이 글로벌 빅테크와 경쟁하는 것은 어렵기 때문에 정부 주도의 적극적인 지원이 필요하다고 덧붙였습니다. 그러나 여전히 AI의 킬러 애플리케이션이 발굴되지 않은 상황에서 소버린 AI를 개발하는 것이 어떤 의미를 가지는지 의문이 듭니다. 소버린 AI라는 추상적인 개념보다는 AI 시대의 전자정부와 같은 구체적인 서비스에 집중하는 것이 더 효과적이지 않을까 생각됩니다. 또한, 국가 차원에서 GPU 컴퓨팅 센터를 구축하는 데 들어가는 막대한 투자에 비해 한국이 실질적으로 얻을 수 있는 이익이 얼마나 될지 고민하게 됩니다. 빅테크의 파운데이션 모델이 한국어 성능이 떨어지는 것은 품질 높은 한국어 데이터의 규모가 작은 것이 한 이유일 것이기에, 한국어 공개 데이터만 잘 구축해도 좋은 성능을 기대할 수 있습니다. 그렇다면 한국 회사들이 파운데이션 모델을 개발해야 할 이유는 무엇일까요? 🦜더 읽어보기- AI 행정, 피해자 개인이 아니라 공동체가 대응하려면? (2024-03-14)- 프랑스 AI 스타트업, EU의 뒷통수를 치다? (2024-03-06) #feedback 오늘 이야기 어떠셨나요?여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.

정말로 대안이 없을까? by 🥨 채원 저는 요즘 직접 얼굴을 보고 이야기하는 것보다, 메신저나 온라인 플랫폼을 통해 나누는 대화의 양이 더 많다고 느낍니다. 다른 나라에 살고 있는 친구들 뿐만 아니라, 재택 근무하는 직장 동료들, 멀리 떨어진 협업자들과도 메일이나 메신저로 소통하기 때문입니다. 그러나 우리의 이야기를 작성하고, 공유하는 데 사용하는 여러 플랫폼들이 미덥지만은 않습니다. 특히 텔레그램은 앱 내에서 일어나는 불법활동에 대한 조사의 일환으로 CEO가 프랑스에서 구속되었을 뿐만 아니라, 딥페이크 등의 기술을 활용하여 합성된 성착취물을 공유하는 대규모의 대화방이 알려지며 디지털 성범죄의 온상이라는 인식이 더욱 강화되기도 했습니다. 특히 후자의 경우에는 소셜 미디어 뿐만 아니라, 비교적 가까운 사람들에게만 공개된다고 생각했던 메신저에 공유하는 사진까지 악의적으로 알아내고 수집하여 범죄에 활용한 수법이 밝혀져, 더욱더 메신저 상에서 이루어지는 대화에 불안감을 조성했습니다. 그저 가까운 사람들과 마음 편히 대화를 나눌 수 있는, 그러면서도 광고나 다른 불필요한 기능에 시달리지 않는 메신저란 진정 불가능한 것일까요? ‘공짜’로 쓰기 위해서 당연히 감당해야만 한다고 생각했던 불편함을 견딜 필요가 없다면 어떨까요? 시그널 재단의 의장 메러디스 휘태커가 와이어드와 나눈 이야기를 듣다보면, 이런 희망사항이 막연히 불가능한 꿈은 아니라는 것을 깨닫게 됩니다. 저는 독일에 오고나서 시그널이라는 메신저를 처음 들어보았는데요, 어딘가 찝찝한 왓츠앱도, 한국 친구들만 사용하는 카카오톡도, 애플 유저들만 사용하는 메시지앱도 아닌 제 3의 메신저라는 사실만으로도 반가게 다가왔습니다. 깔끔한 유저 인터페이스 뿐만 아니라, 나의 동의 없이 대화방에 초대할 수 없게 만든 추가적인 안전장치 등 평소에 생각해보지 못했던 지점까지 고려된 앱이라는 점이 돋보였습니다. 그 이후로 몇 년째 꾸준히 사용하고 있던 차, 얼마 전 읽게된 메러디스 휘태커의 인터뷰는 시그널이 단순히 깔끔하고 좋은 앱 그 이상이라는 것을 느끼게 했습니다. 그는 시그널이 단순히 암호화된 무료 메신저일 뿐만 아니라, 감시 자본주의가 틀렸음을 증명하는 것이라고 말합니다. 시그널은 영리기업이 아닌 비영리재단입니다. 휘태커 의장은 암호화 이메일로 유명한 스위스의 프로톤 메일도 비영리 재단으로 전환하는 것을 고려하고 있다며, 테크 기업이 나아갈 수 있는 다양한 가능성에 대해 이야기합니다. 기술의 미래가 벤처 투자자나 감시 자본주의에 있지 않다는 것을 증명하기 위해 외부 투자도 받지 않고, 광고도 없으며, 사용자의 정보도 수집하지 않는 시그널의 정책은 우리가 알고있는 대부분의 테크 공식을 깨뜨립니다. 인터뷰에서 인상깊었던 구절 몇 가지를 소개하며 마치겠습니다. 인터뷰 전문을 읽어보시기를 강력하게 추천드립니다. “우리는 비영리재단입니다. 사람들이 동정하듯 던지는 동전으로 살아남기 위해서가 아니라, 동시대 역사적인 맥락 속에서 우리의 미션을 수행하기 위해 이러한 조직 구조가 매우 중요하기 때문입니다. 현재 우리 (테크) 업계에서 이익은 감시를 수익화하거나, 감시를 수익화하는 사람들에게 제품이나 서비스를 제공하는 데에서 발생합니다. 그것은 인터넷에서의 프라이버시를 위한 비지니스 모델이 아닙니다.” “사람들이 빅테크 제품들을 사용하는 것은, 그렇지 않고서는 사회에 참여하기 불가능하기 때문입니다. 하지만 그것은 사용자를 진정으로 얻은 것이 아닌, 강요입니다. 정부의 외면이나 독점으로 인해 다른 선택권이 존재하지 않는 상황에서의 “락인(lock-in)”인 것이죠. 지금처럼 절실하게 대안이 필요했던 적이 없습니다.” 🦜 더 읽어보기- 사진 내리기 말고 할 수 있는 일을 찾아서 (AI 윤리 레터, 2024-09-04)- 음란물은 딥페이크의 부작용이 아니라 순기능 (AI 윤리 레터, 2024-07-03)- 내년으로 들고 갈 질문 (AI 윤리 레터, 2023-12-06) 제목이 생각나지 않지만 자는 동안 뇌에서 프로세싱 될 거라 믿어요. by. 💂죠셉 일부 학부모님들이 사교육 등에 들어가는 투자와 그 결과로 나오는 시험 성적을 각각 ‘인풋’, ‘아웃풋'이란 단어를 사용해 표현한다는 걸 들은 적이 있습니다. 가만히 생각해 보면 사람을 대상으로 쓰기엔 이질감이 느껴지는 표현입니다. 기계와는 달리 사람의 경우 대부분 ‘인풋’만큼의 일정한 ‘아웃풋'을 예측하기가 어려우니까요. 우리의 일상에 들어와 있는 언어 중 이렇게 기계, 그중에서도 컴퓨터와 연관된 은유 (computational metaphors)가 매우 많습니다. 가령 몇 해 전 유행했던 ‘내 마음속에 저-장~’ 이 그렇죠. 기억을 소중하게 간직하겠다는 표현을 위해 ‘저장(store)’이라는 단어를 사용했습니다. 당연한 이야기지만, 우리는 ‘저장' 버튼을 눌러 데이터를 영구보존 하는 방식으로 기억을 저장할 수 없습니다. 어떤 기억을 보존할지, 혹은 지울지를 의식적으로 선택할 수도 없죠. 그럼에도 ‘저장'이란 표현은 컴퓨터를 한 번이라도 써본 사람은 모두 이해할 수 있는 효과적인 은유로 기능합니다. 여기에 더해 예능 자막에서 많이 사용되는 ‘입력 오류'라든지, 몇 해 전부터 갑자기 많은 사람들이 사용하고 있는 ‘알고리즘’ 같은 단어도 있죠. 당대의 주목 받는 신기술이 인간을 설명하기 위한 은유로 사용되는 건 역사적으로 반복되어 온 패턴입니다. 가령 철학자 르네 데카르트(René Descartes)는 인간의 뇌를 신경계와 연결된 유압 펌프에 빗대어 설명한 적이 있고, 심리학자인 지그문트 프로이트(Sigmund Freud) 또한 뇌를 일종의 증기 기관으로 상상한 적이 있습니다. 따라서 지금 우리의 언어에 컴퓨터 은유가 깊이 들어와 있고, 특히 인간의 뇌와 마음을 컴퓨터에 빗대어 이해하게 됐다는 게 그리 놀라운 사실은 아닐 겁니다. 그런데 뇌/마음을 컴퓨터로 이해한다는 게 정확하게 무슨 의미일까요? ‘마음/뇌 컴퓨터 은유의 대안을 찾아서 (In search for an alternative to the computer metaphor of the mind and brain)’라는 제목으로 다미앙 G.켈티-스테판(Damian G. Kelty-Stephen) 등 총 12명의 심리학자, 뇌과학자, 철학자 등이 발표한 논문 중 일부에 따르면 컴퓨터 은유는 일반적으로 다음과 같은 특징을 가집니다. 인풋-아웃풋 시스템: 뇌는 감각 정보(sensory input)를 처리해 특정 행동(behavioral output)을 결과로 출력한다. 코딩: 뇌에 인풋(감각 정보)이 입력되면 일차적으로 시스템을 위한 코딩 작업을 거친 후 뇌의 다양한 영역에서 처리(process)된다. 알고리즘: 뇌가 인풋을 처리해 아웃풋을 내는 방식은 제한된 규칙 집합의 순차적 적용(the sequential application of a limited set of rules)에 기반한 설명이 가능해야 한다. 즉, 컴퓨터 알고리즘처럼 설명할 수 있어야 한다. 어떠신가요? 우리가 생각하고 행동하는 방식에 완전히 부합하지 않는다는 걸 직관적으로 느끼셨을 겁니다. 위와 같은 과정에서 드러나는 기계의 완벽한 논리성과 합리성, 효율, 합목적성 등이 인간에게 적용되지 않는 경우가 많기 때문이죠. 그럼에도 컴퓨터 은유는 그동안 인간의 뇌와 마음을 연구하기 위한 최선의 대안으로 여겨져 왔고, 무엇보다 우리 인간이 스스로를 이해하는 방식 중 하나라는 점에서 중요한 의미를 가집니다. 앞서 언급한 ‘인풋/아웃풋'과 같은 표현은 일상 속 관용구처럼 사용되기에 그 의미가 얼핏 사소해 보일 수 있지만, 인간이 은연중에 자신의 뇌와 마음, 지능을 어디까지 기계로 인식하고 있는지를 드러내고 있기 때문이죠. 한편, 기술 평론가인 메건 오기블린(Meghan O’Gieblyn)은 “behavior,” “memory,” “thinking”등 한때 기계를 설명하는 데 사용하려면 따옴표로 구분될 필요가 있었던 단어들이 이제 AI 업계에서 흔하게 사용되고 있다는 점을 지적합니다. 챗GPT와 같은 언어 모델들이 학습(learn)한다거나, 이미지를 본다(see)거나, 이해한다(understand)는 표현 또한 이제는 쉽게 볼 수 있죠. 인간과 유사한 결과물을 내는 챗봇으로 인해 다양한 사건 사고가 벌어지고, 인간이 감정적으로 의존하게 되는 ‘중독성 지능(addictive intelligence)’에 대한 우려가 제기되는 상황에서 이러한 의인화 경향은 주목할 만합니다. 그리고 컴퓨터 은유에 대한 한 사회의 수용도는 이런 경향에 대한 척도가 될 수 있습니다. 물론 ‘알고리즘'과 같은 단어가 불과 몇 년 전까지만 해도 비전문가들의 어휘에는 존재하지 않았던 것처럼, 10년, 20년 후 컴퓨터 은유 또한 철지난 언어가 되어 있을지도 모르겠습니다. 일론 머스크의 꿈이 실현된다면 ‘우주여행 은유’를 사용하고 있을지도 모르죠. 앞서 소개한 논문에서는 현시점에서 컴퓨터 은유를 대체할 만한 여러 대안을 제시하고 있으니, 관심이 있다면 살펴보시기를 추천드려요. #feedback 오늘 이야기 어떠셨나요?여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.

AI 윤리 뉴스 브리프 2024년 9월 둘째 주by 🎶소소 1. 2024년 AI 분야의 가장 영향력 있는 인물 100인 타임지가 AI 분야의 영향력 있는 100인을 발표했습니다. 구글, 마이크로소프트, 허깅페이스, 오픈AI 등 다양한 AI 관련 기업의 경영진이 다수 포함되었습니다. 올해 선정된 100인 중 91명은 작년 목록에 포함되지 않았던 인물이라고 하는데요. 정말 빠르게 변화하는 분야라는 것이 실감 납니다. AI 위험을 경고하고 해결하기 위해 노력하는 기업이나 기관의 인물들이 눈에 띕니다. 영국, 미국에 신설된 AI 안전 연구소를 이끄는 인물들도 등재되었습니다. 영국 공정거래위원회, 미국 상무부 장관과 과학기술부처의 정부 관료들도 이름을 올렸는데요. 작년부터 집중적으로 논의되고 있는 AI 규제를 만들고 실행하는 이들이 AI 기술개발에도 큰 영향을 미치고 있다는 점을 시사합니다. 100인의 인물을 살펴보며 알게 된 새로운 인물도 소개합니다. 미국 전역에서 딥페이크 피해자 보호 캠페인을 하는 열 다섯살의 프란체스카 마니(Francesca Mani)입니다. 마니는 반 친구들이 딥페이크를 사용해 자신을 포함한 여학생 친구들의 사진으로 성 착취적인 불법 합성물을 만들었다는 사실을 알게 된 이후 다시는 이런 일이 일어나지 않도록 전국의 정책 입안자, 학교 위원회, 기술 회사 앞에서 시위를 시작했다고 합니다. 그 외에도 흥미로운 인물들이 많이 있으니 한 번 살펴보는 것을 추천합니다. 💬 댓글- (🤖아침) 이런 종류의 목록이 발표되면 으레 갑론을박이 뒤따릅니다. 그중 기술 전문 저널리스트 브라이언 머천트의 의견이 눈에 띄었는데요. 머천트는 목록에 기업 CEO를 위시한 업계 거물이 대거 포진한 반면 팀닛 게브루, 에밀리 벤더, 조이 부올람위니, 테드 창, 메러디스 휘태커 등 비판적 목소리를 높여온 인물들이 작년과 달리 올해는 빠진 점에 주목합니다(리나 칸, 사샤 루치오니, 벤 자오 등이 그 자리를 대신하고 있긴 하지만요). 그리고 이 목록이 잘못되었다기보다, 오히려 너무나도 현실을 정확하게 드러낸다고 꼬집습니다. AI는 부자들이, 부자들을 위해, 노동을 자동화하여 기업의 이윤을 극대화하고자 만드는 기술이라는 것이죠. 2. AI 기업이 쓸어 담는 수조 원의 투자금 오픈AI가 수십억 달러 규모의 자금을 조달하기 위한 투자 유치 중이라고합니다. 현재 기업가치를 1000억달러(약 134조원) 규모로 추정하는데요. 엔비디아가 투자자로 참여한다거나, 비영리를 표방한 투자금의 100배 수익 제한 기업(capped for profit) 구조마저도 포기한다는 여러 소문이 무성합니다. 오픈AI의 주간사용자가 2억명을 돌파했다는데, 여전히 막대한 투자금이 필요하다는 것은 모델 개발에 끊임없이 돈이 들어간다는 뜻이겠죠. 오픈AI의 방향성에 반대하며 사임한 일리야 수츠케버(Ilya Sutskever) 또한 최근 막대한 투자금을 조달했습니다. 그가 창업한 Safe Superintelligence(SSI)가 설립 3개월 만에 10억 달러(약 1조 3,000억 원)의 투자를 받았다는 소식입니다. 어떤 기술을 개발하는지는 아직 구체적으로 알려지지 않았으나, 일리야 수츠케버를 믿고 대규모의 투자가 진행된 것으로 보입니다. SSI 측은 안전한 초지능을 만드는 것을 목표로 제품을 시장에 출시하기 전에 몇 년 동안은 연구 개발에 투자할 것이라고 밝혔습니다. 도대체 이 AI 기업들은 이 돈을 다 어디에 쓸까요? 아마 많은 돈이 컴퓨팅 자원을 확보하는 데 쓰일 것으로 보이는데요. 불확실한 AI의 미래에 너무 많은 인간의 자원이 투입되고 있지는 않은지 우려됩니다. 더 좋은 AI를 만든다는 명목으로 끊임없이 돌아가는 컴퓨팅 연산이 우리의 미래에도 의미 있는 연산이기를 바랍니다. 3. 대한민국 AI 기본법 불발, 국경을 넘는 AI 국제 조약 각 국에서 AI 규제를 위한 여러 법안이 제출되고 있습니다. 이 중에는 합의되는 법안도 있지만 불발되는 법안도 다수입니다. 우리나라 22대 국회에 재제출된 AI 기본법은 법안심사소위원회를 통과하지 못했습니다. 최근 딥페이크를 이용한 성착취물 실태가 영향을 미친 것으로 보입니다. AI가 악용되는 경우를 규제할만한 방안이 부족하다는 평가인데요. AI 부작용을 막기 위한 실질적인 대책으로서의 법안이 요구되고 있습니다. 한편 국경을 넘어 AI 기술의 위험 통제와 책임을 요구하는 AI 국제 조약에 미국, 영국, 유럽연합을 포함한 10개국이 서명했습니다. 정식 명칭은 “AI와 인권, 민주주의 및 법치에 관한 기본 협약” 입니다. 5개 서명국이 본 조약을 자국 법률에 따라 비준하면, 3개월 후 발효됩니다. 이 조약은 유럽 AI 법이 유럽 지역에만 적용되는 한계를 보완한다는 의미가 있습니다. 그러나 구체적인 벌금 등 제약사항이 없다는 점에서 실효성에는 의문이 제기되고 있습니다. 미국도 연방정부 차원의 AI 법은 없으나, 미국 AI 안전 연구소는 오픈AI와 앤트로픽의 AI 모델 사전 테스트 권한을 확보했다고 밝혔습니다. AI 모델 출시 전 모델의 성능과 위험을 평가한다는 취지입니다. 앞으로 정부가 직접 AI 모델을 평가할 수 있는 역량이 규제의 핵심이 될 것으로 보입니다. 4. 딥페이크 성착취물 반대 행진 전국 144개 시민사회 단체가 주최한 텔레그램 딥페이크 성폭력 대응 긴급 집회에 시민 500여 명이 참여했습니다. 보신각 앞에 모인 참석자들은 “불안과 두려움 아닌 일상을 쟁취하자!”는 구호를 외치며 행진했습니다. 정부가 범죄자들을 강력하게 처벌하고 플랫폼이 적극 대응하기를 촉구하는 마음이 전해졌길 바랍니다. 한국의 딥페이크 성착취물 실태가 전세계적으로 알려지면서, 세계의 많은 여성들도 함께 분노하고 있습니다. 영국의 한국대사관 앞에서는 한·중·일 동아시아 여성을 비롯해 세계 각국 출신의 100여명이 불법촬영물, 여성혐오문화 반대를 외치고 딥페이크 성범죄 사태 해결을 촉구하며 행진했습니다. 이번주 수요일(2024년 9월 11일)🦜AI 윤리 레터도 딥페이크 성범죄 이슈에 관해 이야기하는 자리를 사회적협동조합 빠띠와 함께 마련했습니다. 매일 끊임없이 쏟아져 나오는 뉴스를 보며 쌓이는 분노의 에너지를 문제 해결의 에너지로 바꿔내고 싶은 분들을 초대합니다. 직접 문제해결을 위한 캠페인을 만들고 실행해보는 워크숍 시간으로 준비했습니다. 다양한 분을 만나뵙고 말씀 나누길 기대합니다. 📆 소식- 딥페이크 성범죄, 우리가 함께 할 수 있는 일을 찾아서(feat.캠페이너 인생게임)주최: 사회적협동조합 빠띠 & AI 윤리 레터(행사일: 2024-09-11) #feedback 오늘 이야기 어떠셨나요?여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.

기술의 구원을 기다릴 때 소홀해지는 것 by 🤖아침 이런 이야기가 있습니다. 이웃집에 사는 경계선 지능인 청년이 나쁜 사람의 꼬임에 속아 넘어가 보이스 피싱에 연루될 뻔합니다. 가게 장사를 하는 부모님은 자식의 움직임을 항시 살필 형편이 안 되어 절망하던 차, 글쓴이가 챗지피티 커스텀 봇을 제작해 사용법을 알려줍니다. 일상생활에 어려움을 겪는 청년으로 하여금 생활 속 각종 상황에 대한 조언을 해주는 봇에게 이것저것 물어보고 결정하도록 한 것입니다. 덕분에 해당 청년의 삶은 한결 안전해졌다는 미담입니다. 저는 이 이야기를 자주 생각합니다. 흥미롭고 찜찜한 이야기입니다. 온라인 커뮤니티발 썰이므로 어디까지 사실인지는 확인이 어렵지만 제 관심을 끄는 건 사실 여부보다, 여기 담겨 있는 관점과 가치관입니다. 기술에 대한 어떤 종류의 기대를 잘 보여주는 이야기랄까요. 무엇보다 이것은 기술로 장애를 해결하는 이야기입니다. 일상의 판단에서 어려움을 겪는 사람이 있고, 판단을 보조하는 기술적 도구를 제공하여 그 어려움을 해소합니다. 챗지피티 같은 LLM 기반 서비스가 일상생활을 실제로 잘 보조해줄 수 있는지 정확한 평가가 필요하겠지만, 그 평가는 잠시 유보하겠습니다. 제대로 보조해줄 수 있다고 일단 가정합시다. 이야기 속 경계선 지능인 청년은 전자레인지에 페트병을 넣고 돌려도 되는지 같은 일상적 판단에 있어 챗봇에 의존하게 됩니다. 이때 챗봇은 청년과 세계 사이를 매개하며, 청년은 자신의 판단을 챗봇이라는 기술 시스템에 외주화합니다. 기술 시스템에 판단을 맡기는 것 자체로 나쁜 일은 아닙니다. 우리 모두는 AI뿐만 아니라 다양한 기술 시스템을 매개로 세계와 상호작용하고 그 과정에서 자신의 행동이나 판단을 외부 시스템에 맡깁니다. 코파일럿을 사용하는 프로그래머, 기계번역을 사용하는 저자, AI 생성 일러스트레이션을 활용하는 디자이너 모두 마찬가지죠. 검색엔진이나 쇼핑몰의 추천 알고리즘도 수많은 정보의 우선순위를 우리 대신 판단해주는 도구이며, 우리는 그 판단을 편리하게 받아들이곤 합니다. 도구를 사용해 편익을 누릴 수 있다면 무엇이 문제냐고 생각하는 이도 분명 있을 겁니다. 하지만 일상의 판단을 전부 도구에 위임하는 게 괜찮은 걸까요? 경계선 지능인이나 지적장애인의 삶은 그렇게 해도 괜찮나요? 다른 종류의 장애를 가진 사람이나, 마찬가지로 일상적 판단이 어려운 아동의 삶은 어떤가요? 이 글을 읽는 당신의 삶을 통째로 챗지피티에 위임할 수 있나요? 전부가 아니라 일부라고 한다면 어디까지 괜찮은가요? 괜찮은 것과 괜찮지 않은 것의 경계는 어디인가요? 개인과 기술 도구의 적절한 관계에 관한 까다로운 질문은 이야기 속 화자의 역할로 인해 한층 복잡해집니다. (아마도 비장애인일) 글쓴이는 경계선 지능인 청년에게, 청년 자신보다 AI 챗봇을 믿고 행동하라고 권합니다. 그리하여 글쓴이는 청년과 부모님의 문제를 해결해주고, "GPT가 사람 하나 매시간으로 구하고 있는" 것을 보며 기뻐합니다. 이 지점에서 우리가 사회적으로 기술과 맺는 관계가 드러납니다. 이야기 속 한국 사회는 경계선 지능인 청년이 역량을 기르거나 발휘할 만한 기회가 부족하고("편의점 알바랑 부모님 가게일만 하는"), 보이스 피싱과 같은 범죄의 위험이 취약계층에게 더욱 크게 작용하며, 일상을 안전하게 영위하게 해주는 돌봄 체계가 부재합니다("항상 옆에 두지도 못하는데 앞으로 어떻게 해야하냐"). 경제, 치안, 복지 등 여러 사회적 맥락에서 해당 청년은 구조적 어려움에 처해 있는 것이죠. 훈훈한 결말부에 닿았을 때, 이러한 사회적 조건 중 달라진 것은 아무것도 없습니다. 여전히 청년과 같은 이들에게 한국은 경제적 자립이 요원하고 범죄에 취약하며 돌봄을 기대하기 힘든 곳입니다. 유일하게 달라진 것은 청년이 챗봇을 활용한다는 사실입니다. 기술 시스템이 경계선 지능인 개인의 삶에 등장함으로써 문제가 갑자기 없어지거나 완화됩니다. 다른 어떤 것도 바꾸지 않은 채 기술을 추가함으로써 긍정적인 효과만 얻은 것이죠. 구원으로서의 기술. 전형적인 기술 만능주의(techno-solutionism)가 드러나는 지점입니다. 기술 만능주의는 매혹적입니다. 이야기에서 청년의 문제는 기술로 해결되었고, 심지어 그 해결 주체는 어떤 거대한 조직이 아니라 글쓴이 개인이었죠. 청년에게 일자리를 제공해주거나, 다른 일을 할 수 있는 역량을 길러주거나, 금융 사기범의 활동을 제한하거나, 돌봄 지원 체계를 개선하는 것은 쉽지 않습니다. 개인 혼자의 힘으로는 어려운 일이죠. 하지만 기술이 문제를 해결해줄 수만 있다면, 복잡한 사회적 상황을 건드리지 않고도 세상은 나아집니다. 즉 이야기 속 챗봇은 일종의 도깨비 방망이, 마법처럼 문제를 해결해주는 데우스 엑스 마키나입니다. 경계선 지능인 청년의 판단 능력을 키우고, 더 나은 일자리를 만들고, 사람과 자원을 투자해 돌봄 안전망을 설계하지 않아도, 당사자가 챗봇을 활용하면 그럴 필요가 없어집니다. 챗봇은 보호자가 자식을 돌볼 수 있는 시간을 확보해주는 대신, 자식을 돌보지 않고 계속 돈을 벌 수 있도록 해줍니다. 청년이 처한 사회적 관계와 조건을 개선하기보다, 그 관계와 조건을 챗봇으로 대신할 수 있을 뿐만 아니라 대신하는 것이 사실상 바람직하다는 믿음. 이때 챗봇은 기존의 사회적인 문제를 고통스럽게 마주하고 구조적 개선을 추구하는 일을 하지 않아도 되게 해주는 면책 수단이 됩니다. 그러므로 이러한 기술적 해결의 추구는 어떤 의미에서는 사회적 관계맺기나 공동체적인 돌봄을 포기하는 일이며, 그런 의미에서 가치판단(예컨대 돌봄 지원 확대보다 챗봇 솔루션 보급을 중시하는)이 들어간 정치적 선택이 됩니다. 기술적 해결의 추구가 사회적 해결의 포기라는 말이 너무 극단적인가요? 그럴지도 모릅니다. 위 이야기의 글쓴이가 챗봇을 만들어주면서 다른 종류의 돌봄이 필요없다고 주장한 건 아니니까요. 기술적 실천과 사회적 노력이 잘 어우러지는 것이 최선일 겁니다. 또한 사회적 자원의 확보가 쉽지 않은 조건에서 기술적 개입이 긍정적 효과를 가져올 수 있다면 당연히 후자가 바람직한 것일지도 모릅니다. 돌봄이 필요하니까 챗봇으로 돌봄 기능을 제공한다는 것이고, 그런 도구를 활용하는 게 바로 일상생활 역량이라고 볼 수도 있겠지요. 다만 그러기 위해서는 기술적 해결책이 실제로 도움이 되는지, 새로운 문제를 만들어내지는 않는지 면밀히 따져봐야 하겠습니다. 더구나 챗봇 같은 기술 도구가 다른 사회적 투자, 예컨대 돌봄 지원을 축소하는 명분이 되지 않는지도 경계할 필요가 있습니다. 그렇지 않다면 장애를 기술로 해결한다는 낙관을 믿으며 정작 현실에는 눈감는 테크노-에이블리즘의 혐의에서 자유로울 수 없겠죠. 도입부에서 일단 받아들인 ‘챗봇이 일상 판단을 잘 보조해줄 수 있다’라는 전제를 거두어들이고, 잠시 유보해둔 평가를 재개해야 하는 시점입니다. 챗지피티 등 주요 LLM 기반 챗봇 서비스는 가입시 연령제한이 걸려 있습니다. LLM 기술은 본질적으로 부정확한 텍스트 생성 가능성을 배제할 수 없고, 혐오나 특정 집단에 대한 편견 등 부적절한 결과물을 내놓을 수도 있기에 미성년 이용자에게는 위험하다고 보는 것이죠. 이런 한계를 지닌 도구를 일상 생활 속 판단에 활용하는 일은, 그 도구가 내놓은 부정확한 결과를 그대로 받아들일 위험을 일상에 도입합니다. 따라서 도구에 대한 비판적 검토 역량, 기술에 내재된 의도와 편향을 파악하고 그에 맞추어 적절한 관계를 맺을 수 있는 능력이 필요합니다. AI 리터러시라고 부를 수 있는 이러한 역량을 확보하지 않은 채 기술을 보급하는 것은 이용자에게 위험을 초래합니다. 이야기 속 경계선 지능인 청년이 챗봇의 잘못된 조언을 받아들여 위험한 행동을 하게 된다면 그 상황은 누가 책임질 수 있을까요? 서비스나 기기에 문제가 생겨 챗봇이 작동하지 않는다면 청년은 어떻게 해야 할까요. 그런 상황에서 의존할 수 있는 다른 안전망은 남아 있을까요? 기술에 건 기대가 반드시 긍정적 결과로 되돌아오는 건 아닙니다. 그리고 기대가 어긋날 때 피해는 약자가 더 많이 입게 마련이고요. 위 이야기는 그냥 커뮤니티 썰이지만, 실제로 복지/의료 분야에 챗봇 등 AI 기술을 도입하는 사례가 많아지고 있습니다. 기술이 다 해결해줄 거라는 낙관을 잠시 거두고 실제로 가능한 일이 무엇인지, 기술에 대한 기대가 차단하는 다른 가능성은 무엇이지 면밀히 관심을 가져야 할 시점입니다. #feedback 오늘 이야기 어떠셨나요?여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.

사진 내리기 말고 할 수 있는 일: AI 기업에 요구하기 by 🎶소소 딥페이크 성범죄 영상물을 제작, 소지, 배포하는 행위는 개인의 존엄성과 인격권을 파괴하는 중대한 범죄입니다. 딥페이크가 아니라 불법 합성물이라고 부르겠습니다. 일부 대학에서 드러났던 불법 합성물 성범죄 사건이 사실상 사회 곳곳에서 일어나고 있으며, 내가 사는 지역과 다니는 학교의 지인들이 중심이 되었다는 충격적인 보도 이후 논의가 계속되고 있습니다. 현재까지 경찰에 신고된 피해자 대부분은 10대 20대로, 피의자 중 다수는 피해자와 같은 학교 학생이라는 점은 많은 이들을 경악하게 합니다. 경찰과 검찰은 불법 합성물 성범죄 관련 행위를 신종 학교 폭력으로 규정하고 엄정 대응 방침을 발표했습니다. 방송통신심의회도 불법 합성 성착취물에 강력 대응하겠다고 밝혔습니다. 여성가족부 또한 경찰과 연계해 피해자 영상물 삭제를 지원하겠다고 했고요. 윤석열 대통령은 딥페이크 없는 건강한 온라인 환경을 만들 것을 촉구했습니다. 언론중재위원회는 성적 딥페이크 콘텐츠를 삭제하고 차단하기 위해 소셜미디어 기업과의 소통을 강화하는 협의체를 구성할 계획이라고 밝혔습니다. 네, 다 좋습니다. 정부 기관에서 약속한 대로 빠르게 엄정하게 대응해주셨으면 합니다. 그동안 우리는 뭘 할 수 있을까요? 학교에서는 딥페이크 예방을 위해 가정통신문을 보냈습니다. 유의사항에는 “SNS 계정에 연락처, 사진 등 개인정보를 공개하는 것을 주의”하라고 적혀있습니다. 많은 아이들이 혹시나 하는 마음에 모든 SNS에서 사진을 삭제하고도 밤새 스마트폰을 붙잡고 불안해한다고 합니다. 가정통신문에는 우리가 당장 할 수 있는, 뭐라도 해야 하는 마음이 담겼겠지요. 그런데 도대체 피해자들이 얼마나 더 주의를 해야 할까요? 미니스커트를 입으면 성적 호기심을 유발할 수 있으니 입지 말라는 역사가 반복되는 느낌입니다. 이러다가 모두가 히잡을 두르다 못해 눈코입까지 가려야 할 판입니다. SNS에서 사진 내리기 말고 우리가 더 할 수 있는 일은 없을까요? 불법 합성물이 제작되고 유포되는 과정을 그려보았습니다. 전체 과정에서 피해자가 한 일은 개인 SNS에 사진을 올린 것 뿐입니다. 그 이후로는 여러 이해관계자가 따로 또 같이 범죄를 위해 움직입니다. 피해자의 사진을 도용해서 불법 합성물 제작을 시도한 사람이 시작점입니다. 불법 합성물을 제작해주는 익명 채널에 참여한 22만명은 모두 잠재적 범죄자입니다. 의뢰자 스스로가 딥페이크 제작자이거나, 제작자가 SNS 범죄방 운영자이자 유포자일 때도 있습니다. 모두 범죄에 가담한 가해자입니다. 이 과정에는 개인이 아닌 “기업”의 역할도 있습니다. SNS 플랫폼 기업은 범죄의 유통책이 되고, 딥페이크 서비스 기업은 불법 합성물 제작에 활용됩니다. 불법 합성 성착취물의 유통 채널인 SNS를 통제할 수 있을까요? 국내에서는 많은 불법 합성물들이 텔레그램을 통해 유포됩니다. 표현의 자유를 보호하기 위한 텔레그램의 강력한 운영 방침이 역설적으로 범죄 집단들이 범행을 모의하는 공간을 만들어주고 있습니다. 딥페이크 뿐만 아니라 사기, 마약, 밀매, 테러 조장 등 범죄 온상이 되고 있습니다. 텔레그램이 수사에 협조하지 않아 수사가 어렵다는 이야기를 한 번쯤 들어보셨을 텐데요. 최근 프랑스에서 텔레그램 CEO이 체포되며 대한 아동 성착취물(Child Sexual abuse material, CSAM) 및 기타 범죄와 관련된 조사가 시작되었습니다. 이 때문인지 텔레그램이 방송통신심의위원회가 긴급 삭제 요청한 디지털 성범죄 영상물 25건을 삭제하고 사과했습니다. 앞으로 딥페이크 성착취물 문제를 위해 노력하겠다고 밝혔습니다. 유통 채널만의 문제는 아닙니다. AI가 불법 합성물을 더욱 쉽고 빠르게 만들어주는 덕분에 피해 범위는 더욱 커지고 있습니다. AI 기술에 익숙한 사람이라면 오픈 소스로 공개된 AI 모델을 직접 내려받아 사용할 수 있습니다. 기술은 전혀 모르더라도 조금만 검색해보면 딥페이크 서비스로 쉽게 얼굴을 합성할 수 있습니다. 얼굴 합성에 쓰이는 AI는 오래된 기술입니다. 기술이 발달한 환경에서 10대 청소년에게 딥페이크는 아주 오래된 보통의 장난이 되었습니다. 여기에 생성AI가 더해지며 더 빠르고 좋은 품질의 이미지가 쉽게 만들어지고 있습니다. 최고의 성능을 경쟁하는 AI 얼굴 합성 프로그램도 검색만 하면 수십 개가 쏟아집니다. 사진 한 장만 있으면 사진뿐만 아니라 영상까지도 수십 초 내로 합성할 수 있습니다. 일부 서비스는 무료이고, 대부분이 월 4.99$(약 7000원) 정도면 제한 없이 서비스를 이용할 수 있습니다. 창작을 민주화한다는 아름다운 구호 아래 AI는 범죄를 돕는 쉽고 빠르고 성능 좋은 도구가 되고 있습니다. 영국 비영리 단체 IWF(Internet Watch Foundation) 은 한 달 간 온라인에 게시 된 11,000개 이상의 AI 생성 이미지를 분석한 결과 3,000개 이상의 이미지가 범죄로 분류될 만큼 심각하다고 판단했습니다. 그러나 대부분의 생성AI 이미지 서비스에서 윤리 정책이나 안전 장치는 전혀 찾아볼 수 없었습니다. 일부 빅테크를 제외한 딥페이크 서비스들은 스타트업 규모로 경쟁에서 살아남기 위해 고군분투하고 있기 때문입니다. 그동안 범죄자는 쉽고 빠르게 범죄를 저지르는데 AI를 이용하고 있습니다. 우리는 딥페이크 관련 기업에도 이러한 피해를 예방하기 위한 조치를 취하도록 요구해야합니다. AI 학습 데이터셋 구축 기업이나 모델 개발사도 마찬가지입니다. 수십억 개의 이미지 공개 데이터셋인 LAION-5B에는 유명 포르노 사이트를 포함한 다양한 소스에서 스크랩 된 아동 성착취물이 포함되어있습니다. 이 때문에 미국과 캐나다에서는 이 공개 데이터셋의 삭제를 요청해왔고요. 이러한 요청에 며칠 전 LAION 팀에서는 아동 성착취물 데이터를 제거한(2천여 건 삭제) 버전을 발표했습니다. 최근 허깅페이스에서는 이미지 생성 AI 모델인 Stable Diffusion ver 1.5 모델이 삭제되었습니다. 이 모델은 아동 성착취물 생성에 뛰어나다고 알려졌습니다. 아동 성착취물이 포함된 데이터셋(LAION-5B)를 학습했기 때문인데요. 그 덕분인지 이 모델은 600만 회 이상 다운로드 된 인기 모델 중 하나였습니다. 그런데 이 모델은 부적절한 이미지 생성의 온상이라는 여러 지적에 따라 최근 모델 호스팅 사이트인 허깅페이스에서 제거된 것입니다. AI 기업은 AI 모델과 서비스를 안전하게 개발, 배포 및 유지 관리할 책임이 있습니다. 그리고 사용자는 계속해서 이를 요구해야 합니다. 아래 우리가 AI 기업에 요구할 수 있는 안전 장치로 아동 안전을 위한 비영리 단체 Thorn이 제안하는 몇 가지를 덧붙입니다. 생성 AI 모델 학습 전 데이터셋 내 아동 성착취물을 탐지, 제거 후 보고 생성된 이미지의 워터마크 및 콘텐츠 출처 표기 아동 성착취물을 데이터로 학습했거나, 재생성할 수 있는 모든 생성 AI 모델을 플랫폼에서 제거 아동 성착취물을 데이터셋에서 제거하지 않는 모델의 재호스팅을 거부 아동 성착취물 생성을 의도적으로 미세 조정된 모델을 식별하여 해당 플랫폼에서 영구히 제거 앱 스토어에서 관련 도구 승인을 거부하고, 검색 결과 및 결제 차단 딥페이크 탐지, AI 생성 콘텐츠 내 워터마크 삽입 등의 기술적 조치 역시 관심을 받고 있습니다. 물론 이러한 기술적인 조치가 문제의 완전한 해결책이 될 수는 없다는 것을 우리는 압니다. 성적 콘텐츠를 소비하고 공유하는 과정의 범죄는 한국 사회의 젠더 갈등과 성차별 문화와 관련이 있습니다. 대통령을 포함한 정부 기관이 범죄에 엄정 대응을 외치지만, 이 사회에 존재하는 여성에 대한 구조적 차별 문제는 언급하지 않습니다. 당사자들은 불법 합성물 성범죄를 방치하는 이 사회의 구조적 문제를 이야기하려면 밤을 새울 지경인데도요. 네, 그래도 좋으니 더는 범죄를 장난이나 실수나 호기심이라며 봐주거나 용인해서는 안 됩니다. 엄중한 처벌이 차별적인 사회 구조에 균열을 낼 수 있기를 바랍니다. 🦜더 읽어보기- 음란물은 딥페이크의 부작용이 아니라 순기능(2024-07-03)- 텔레그램 성착취방의 톱니바퀴, AI(2024-08-26)- 생성 AI 성착취물 시장의 구조(2023-09-04) #feedback 오늘 이야기 어떠셨나요?여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.