사진 내리기 말고 할 수 있는 일: AI 기업에 요구하기 by 🎶소소 딥페이크 성범죄 영상물을 제작, 소지, 배포하는 행위는 개인의 존엄성과 인격권을 파괴하는 중대한 범죄입니다. 딥페이크가 아니라 불법 합성물이라고 부르겠습니다. 일부 대학에서 드러났던 불법 합성물 성범죄 사건이 사실상 사회 곳곳에서 일어나고 있으며, 내가 사는 지역과 다니는 학교의 지인들이 중심이 되었다는 충격적인 보도 이후 논의가 계속되고 있습니다. 현재까지 경찰에 신고된 피해자 대부분은 10대 20대로, 피의자 중 다수는 피해자와 같은 학교 학생이라는 점은 많은 이들을 경악하게 합니다. 경찰과 검찰은 불법 합성물 성범죄 관련 행위를 신종 학교 폭력으로 규정하고 엄정 대응 방침을 발표했습니다. 방송통신심의회도 불법 합성 성착취물에 강력 대응하겠다고 밝혔습니다. 여성가족부 또한 경찰과 연계해 피해자 영상물 삭제를 지원하겠다고 했고요. 윤석열 대통령은 딥페이크 없는 건강한 온라인 환경을 만들 것을 촉구했습니다. 언론중재위원회는 성적 딥페이크 콘텐츠를 삭제하고 차단하기 위해 소셜미디어 기업과의 소통을 강화하는 협의체를 구성할 계획이라고 밝혔습니다. 네, 다 좋습니다. 정부 기관에서 약속한 대로 빠르게 엄정하게 대응해주셨으면 합니다. 그동안 우리는 뭘 할 수 있을까요? 학교에서는 딥페이크 예방을 위해 가정통신문을 보냈습니다. 유의사항에는 “SNS 계정에 연락처, 사진 등 개인정보를 공개하는 것을 주의”하라고 적혀있습니다. 많은 아이들이 혹시나 하는 마음에 모든 SNS에서 사진을 삭제하고도 밤새 스마트폰을 붙잡고 불안해한다고 합니다. 가정통신문에는 우리가 당장 할 수 있는, 뭐라도 해야 하는 마음이 담겼겠지요. 그런데 도대체 피해자들이 얼마나 더 주의를 해야 할까요? 미니스커트를 입으면 성적 호기심을 유발할 수 있으니 입지 말라는 역사가 반복되는 느낌입니다. 이러다가 모두가 히잡을 두르다 못해 눈코입까지 가려야 할 판입니다. SNS에서 사진 내리기 말고 우리가 더 할 수 있는 일은 없을까요? 불법 합성물이 제작되고 유포되는 과정을 그려보았습니다. 전체 과정에서 피해자가 한 일은 개인 SNS에 사진을 올린 것 뿐입니다. 그 이후로는 여러 이해관계자가 따로 또 같이 범죄를 위해 움직입니다. 피해자의 사진을 도용해서 불법 합성물 제작을 시도한 사람이 시작점입니다. 불법 합성물을 제작해주는 익명 채널에 참여한 22만명은 모두 잠재적 범죄자입니다. 의뢰자 스스로가 딥페이크 제작자이거나, 제작자가 SNS 범죄방 운영자이자 유포자일 때도 있습니다. 모두 범죄에 가담한 가해자입니다. 이 과정에는 개인이 아닌 “기업”의 역할도 있습니다. SNS 플랫폼 기업은 범죄의 유통책이 되고, 딥페이크 서비스 기업은 불법 합성물 제작에 활용됩니다. 불법 합성 성착취물의 유통 채널인 SNS를 통제할 수 있을까요? 국내에서는 많은 불법 합성물들이 텔레그램을 통해 유포됩니다. 표현의 자유를 보호하기 위한 텔레그램의 강력한 운영 방침이 역설적으로 범죄 집단들이 범행을 모의하는 공간을 만들어주고 있습니다. 딥페이크 뿐만 아니라 사기, 마약, 밀매, 테러 조장 등 범죄 온상이 되고 있습니다. 텔레그램이 수사에 협조하지 않아 수사가 어렵다는 이야기를 한 번쯤 들어보셨을 텐데요. 최근 프랑스에서 텔레그램 CEO이 체포되며 대한 아동 성착취물(Child Sexual abuse material, CSAM) 및 기타 범죄와 관련된 조사가 시작되었습니다. 이 때문인지 텔레그램이 방송통신심의위원회가 긴급 삭제 요청한 디지털 성범죄 영상물 25건을 삭제하고 사과했습니다. 앞으로 딥페이크 성착취물 문제를 위해 노력하겠다고 밝혔습니다. 유통 채널만의 문제는 아닙니다. AI가 불법 합성물을 더욱 쉽고 빠르게 만들어주는 덕분에 피해 범위는 더욱 커지고 있습니다. AI 기술에 익숙한 사람이라면 오픈 소스로 공개된 AI 모델을 직접 내려받아 사용할 수 있습니다. 기술은 전혀 모르더라도 조금만 검색해보면 딥페이크 서비스로 쉽게 얼굴을 합성할 수 있습니다. 얼굴 합성에 쓰이는 AI는 오래된 기술입니다. 기술이 발달한 환경에서 10대 청소년에게 딥페이크는 아주 오래된 보통의 장난이 되었습니다. 여기에 생성AI가 더해지며 더 빠르고 좋은 품질의 이미지가 쉽게 만들어지고 있습니다. 최고의 성능을 경쟁하는 AI 얼굴 합성 프로그램도 검색만 하면 수십 개가 쏟아집니다. 사진 한 장만 있으면 사진뿐만 아니라 영상까지도 수십 초 내로 합성할 수 있습니다. 일부 서비스는 무료이고, 대부분이 월 4.99$(약 7000원) 정도면 제한 없이 서비스를 이용할 수 있습니다. 창작을 민주화한다는 아름다운 구호 아래 AI는 범죄를 돕는 쉽고 빠르고 성능 좋은 도구가 되고 있습니다. 영국 비영리 단체 IWF(Internet Watch Foundation) 은 한 달 간 온라인에 게시 된 11,000개 이상의 AI 생성 이미지를 분석한 결과 3,000개 이상의 이미지가 범죄로 분류될 만큼 심각하다고 판단했습니다. 그러나 대부분의 생성AI 이미지 서비스에서 윤리 정책이나 안전 장치는 전혀 찾아볼 수 없었습니다. 일부 빅테크를 제외한 딥페이크 서비스들은 스타트업 규모로 경쟁에서 살아남기 위해 고군분투하고 있기 때문입니다. 그동안 범죄자는 쉽고 빠르게 범죄를 저지르는데 AI를 이용하고 있습니다. 우리는 딥페이크 관련 기업에도 이러한 피해를 예방하기 위한 조치를 취하도록 요구해야합니다. AI 학습 데이터셋 구축 기업이나 모델 개발사도 마찬가지입니다. 수십억 개의 이미지 공개 데이터셋인 LAION-5B에는 유명 포르노 사이트를 포함한 다양한 소스에서 스크랩 된 아동 성착취물이 포함되어있습니다. 이 때문에 미국과 캐나다에서는 이 공개 데이터셋의 삭제를 요청해왔고요. 이러한 요청에 며칠 전 LAION 팀에서는 아동 성착취물 데이터를 제거한(2천여 건 삭제) 버전을 발표했습니다. 최근 허깅페이스에서는 이미지 생성 AI 모델인 Stable Diffusion ver 1.5 모델이 삭제되었습니다. 이 모델은 아동 성착취물 생성에 뛰어나다고 알려졌습니다. 아동 성착취물이 포함된 데이터셋(LAION-5B)를 학습했기 때문인데요. 그 덕분인지 이 모델은 600만 회 이상 다운로드 된 인기 모델 중 하나였습니다. 그런데 이 모델은 부적절한 이미지 생성의 온상이라는 여러 지적에 따라 최근 모델 호스팅 사이트인 허깅페이스에서 제거된 것입니다. AI 기업은 AI 모델과 서비스를 안전하게 개발, 배포 및 유지 관리할 책임이 있습니다. 그리고 사용자는 계속해서 이를 요구해야 합니다. 아래 우리가 AI 기업에 요구할 수 있는 안전 장치로 아동 안전을 위한 비영리 단체 Thorn이 제안하는 몇 가지를 덧붙입니다. 생성 AI 모델 학습 전 데이터셋 내 아동 성착취물을 탐지, 제거 후 보고 생성된 이미지의 워터마크 및 콘텐츠 출처 표기 아동 성착취물을 데이터로 학습했거나, 재생성할 수 있는 모든 생성 AI 모델을 플랫폼에서 제거 아동 성착취물을 데이터셋에서 제거하지 않는 모델의 재호스팅을 거부 아동 성착취물 생성을 의도적으로 미세 조정된 모델을 식별하여 해당 플랫폼에서 영구히 제거 앱 스토어에서 관련 도구 승인을 거부하고, 검색 결과 및 결제 차단 딥페이크 탐지, AI 생성 콘텐츠 내 워터마크 삽입 등의 기술적 조치 역시 관심을 받고 있습니다. 물론 이러한 기술적인 조치가 문제의 완전한 해결책이 될 수는 없다는 것을 우리는 압니다. 성적 콘텐츠를 소비하고 공유하는 과정의 범죄는 한국 사회의 젠더 갈등과 성차별 문화와 관련이 있습니다. 대통령을 포함한 정부 기관이 범죄에 엄정 대응을 외치지만, 이 사회에 존재하는 여성에 대한 구조적 차별 문제는 언급하지 않습니다. 당사자들은 불법 합성물 성범죄를 방치하는 이 사회의 구조적 문제를 이야기하려면 밤을 새울 지경인데도요. 네, 그래도 좋으니 더는 범죄를 장난이나 실수나 호기심이라며 봐주거나 용인해서는 안 됩니다. 엄중한 처벌이 차별적인 사회 구조에 균열을 낼 수 있기를 바랍니다. 🦜더 읽어보기- 음란물은 딥페이크의 부작용이 아니라 순기능(2024-07-03)- 텔레그램 성착취방의 톱니바퀴, AI(2024-08-26)- 생성 AI 성착취물 시장의 구조(2023-09-04) #feedback 오늘 이야기 어떠셨나요?여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.

AI 윤리 뉴스 브리프 2024년 9월 첫째 주by 🤔어쪈 1. 딥페이크 성착취물 논의, 어디로 흘러가는가 지난주 AI 윤리 레터에서 소개한 딥페이크 성착취물 보도가 큰 반향을 일으키며 후속 논의가 한창입니다. 이 문제는 사실 이미 수차례 일어난 바 있고, 분명 우리는 더 크게 터질 것을 알고 있었습니다. 일종의 산업이라고 해도 될 만큼 규모와 체계를 갖춰나가는 모습도 경악스럽지만, 충분히 예견 가능한 일이었기에 어쩌면 그 시장의 주된 참여자와 피해자 모두 학생이라는 점 때문에 더 큰 반향을 불러일으킨 것은 아닐까 짐작해 봅니다. 지역자치단체와 정부 부처는 즉각적인 대응을 위한 피해 신고와 삭제 조치에 노력을 기울이기 시작했고, 경찰과 검찰 양 수사기관 모두 엄정한 단속과 수사, 처벌을 약속했습니다. 정치권 역시 여야를 불문하고 관련 처벌 규정을 강화하는 등의 법제도 마련 움직임을 보이고 있습니다. 텔레그램과 같은 성착취물 유통 채널이 될 수 있는 플랫폼에 대한 규제를 요구하는 목소리도 커지고 있고, 다른 한편으로는 딥페이크 탐지, AI 생성 콘텐츠 내 워터마크 삽입 등의 기술적 조치 역시 관심을 받고 있습니다. 다층적이고 복합적인 문제인만큼 관련 범죄를 근절하기 위한 다각적이고 단계적인 노력이 필요한 상황입니다. 하지만 그 과정에서 우리가 잊지 말아야 할 것은 레터에서 지적했듯 딥페이크 성착취물이 그저 AI 기술을 악용하는 일부에 의한 역효과 내지는 부작용이 아니라는 점입니다. AI 기술은 분명 이러한 문제가 보다 쉽게 발생하고 만연해지는 방향으로 발전하고 있습니다. 그럼에도 불구하고 벌써부터 불안 과장, 과잉 규제 운운하는 사람들의 목소리는 범죄 방조와 다를 바 없다고 봐야하지 않을까요? 2. 초지능 AI 규제 법안과 AI 하이프의 상관관계 지난 반년간 AI 업계에 뜨거운 논쟁을 불러일으킨 미국 캘리포니아주의 한 법안이 의회를 통과하여 주지사 서명만을 남겨두고 있습니다. 정식 명칭은 ‘프론티어 인공지능 모델법 (Frontier AI Model Act, 이하 SB1047)’으로, 일정 규모 이상의 AI 모델 개발자로 하여금 모델 학습 전 ‘비상 정지’ 기능을 도입하고 안전성 시험을 통과해야만 배포를 할 수 있도록 하는 등 미국 내 상대적으로 강력한 규제를 담고 있는 것으로 평가받고 있습니다. 법안을 둘러싼 논의를 들여다보면, 과도한 규제가 빅테크 뿐만 아니라 스타트업과 오픈소스 등에서 일어나는 혁신을 저해한다는 전형적인 비판을 넘어 생각해볼만한 논쟁 지점들이 있습니다. SB 1407이 주목하는 위험은 AI가 대량살상무기를 만들거나, 핵심 기반시설에 대한 사이버공격을 가하는 상황 등에 해당합니다. 이를 방지하기 위한 노력이 불필요하진 않겠지만 얼마나 현실적인지 의문을 제기해볼 수 있겠죠. 또한 다목적·다용도의 AI 모델에 대한 규제가 이를 활용하는 자에게 적용되어야 하는지, 아니면 AI 모델 개발자에게 적용되어야 하는지 역시 쉽게 답을 내리기 어려운 질문입니다. SB 1047의 내용은 분명 그간 초지능이 가져올 위험을 강조해 온 AI 하이프의 영향을 크게 받은 것으로 보입니다. 이러한 법안이 AI로 인해 이미 발생중인 피해를 경감하거나 방지하는 다른 어떠한 규제보다 가장 빠르게 초당적 지지를 얻었다는 점은 못내 씁쓸한 부분입니다. 하지만 앞서 던진 질문들과 더불어 AI 하이프에 열심히 바람을 불어넣고 규제가 필요하다던 기업들이 돌아서서 반대하는 목소리를 내는 모순적인 모습과 그들의 반대에도 불구하고 입법을 추진하는 주 의회의 추진력 등은 우리에게 많은 생각할 거리를 던져줍니다. 3. AI 교과서 사업이 참고해야 할 LA의 오답노트 정부가 AI 디지털교과서 사업을 계속해서 강행 추진하는만큼 역풍도 거세게 불고 있습니다. 사업 유보를 요구하는 국회 국민동의청원 참여인원이 5만명을 넘어 교육위원회에 회부되었고, 정기국회 및 국정감사를 앞두고 ‘AI 디지털교과서 중단 공동대책위원회 (이하 공대위)’가 출범하여 국회에 청문회 개최를 요구하고 있습니다. 레터에서 여러 차례 다뤘던 AI 디지털교과서의 검증되지 않은 효과성, 학생과 교사 개인정보를 포함한 교실 데이터 수집과 활용의 적절성 등이 주된 우려입니다. 한편 미국에서 두번째로 큰 공교육 관할 구역인 로스앤젤레스(LA)에서도 우리나라 AI 디지털교과서와 매우 유사한 프로그램을 도입했다가 곤혹을 치르고 있다는 소식입니다. 지난 3월 LA 통합교육구는 AI 학습 플랫폼 에드(Ed) 출범을 알리며 한국 교육부가 AI 디지털교과서 사업 추진 근거로 언급했던 것과 거의 동일한 내용을 내세웠습니다. 하지만 에드 개발을 담당한 스타트업이 수개월만에 파산하고, 데이터 유출 및 부적절한 활용에 대한 논란이 일며 모든 장점이 무색해지고 말았습니다. 약속했던 기능들 역시 제대로 구현되지 않았거나 그다지 효과가 없다는 지적입니다. LA 사례는 공대위에서 제기하는 문제들이 단순 기우가 아니라 매우 현실적인 지적임을 보여줍니다. AI가 개인화된 교육 콘텐츠를 제공하는 등 교육 일선의 문제들을 단번에 해결하는 마법의 단어처럼 여겨지곤 하지만 그런 건 각종 AI 과장 광고에서나 주장할 법한 이상적인 일입니다. 단순히 신기술 도입만으로 해결되는 문제는 하나도 없습니다. 중요한 것은 AI 기술이 아니라 교육 현장의 학생, 교사, 학부모와 같은 사람들과 교육이라는 제도 그 자체입니다. 4. AI 법이 있지만 시행까진 시간이 남아서 지난달 EU AI 법이 발효되어 조항에 따라 내년 또는 내후년 시행을 앞두고 있습니다. 최초로 AI 전 분야를 포괄하는 법안인 만큼 그 내용을 어떻게 해석할지, 또 법규 준수를 위해 무엇이 필요한지 적잖은 혼란이 예상되고 있죠. 이러한 우려를 반영하여 EU는 AI 법 적용을 준비하기 위한 자율적인 협정인 AI Pact를 준비하고 있습니다. AI Pact는 AI 개발 기업 등 법 적용 대상이 제도 이행을 준비할 수 있도록 실천 사례 등을 공유하는 네트워크를 구축하고, 이를 토대로 법적 요구 사항을 충족하는 각종 실천에 대한 자율 규제를 이끌어내는 것에 초점을 맞춥니다. 조직의 AI 거버넌스, AI 리터러시 촉진 전략 등 경영 차원의 내용부터 합법적인 AI 학습 데이터 확보 방안, AI 시스템에 대한 인적 감독 메커니즘 등 실무적인 내용까지 폭넓은 항목을 담고 있습니다. EU는 AI Pact 참여 기업을 계속해서 늘리기 위해 노력중입니다. 아직 그 목록이 공개되진 않았지만 최근 독일의 대표적인 AI 기업 알레프 알파(Aleph Alpha)가 투명성과 법률 준수를 내세운 모델을 출시한 것이 이러한 노력의 일환인 것으로 보입니다. 이러한 움직임은 입법 논의를 미루기만 하고 있는 우리나라에서도 참고해볼 수 있지 않을까요? #feedback 오늘 이야기 어떠셨나요?여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.

가상과 현실의 간극 줄이기: 로봇학습 데이터 수집 by 🧙‍♂️텍스 최근 들어 AI 하이프(hype)는 슬슬 로봇 하이프로 옮겨가는 듯 보입니다. 이번 주 기사들은 테슬라가 휴머노이드 로봇 옵티머스를 개발하기 위해 모션 캡처와 VR 기술을 활용하여 인간의 행동 데이터를 수집하는 직군을 채용하는 사실을 다루었습니다. 테슬라뿐만 아니라 여러 기업이 실제 현실에서 인간의 작업을 대체하는 인공지능 로봇을 만들겠다고 주장합니다. 회사들의 일방적인 주장은 기사 형태로 그대로 공유됩니다. 정말 인공지능 로봇은 우리의 삶에 빠르게 등장할까요? 현실 세상에서 로봇을 작동시키려면 많은 고려를 해야합니다. 로봇은 로봇 자신의 행동을 통제하고, 로봇을 둘러싼 환경을 이해해야하고, 목적에 따라 자기 행동을 계획할 수 있어야 합니다. 고전적인 로봇은 이를 모두 수학과 물리 문제로 정리하여 해결하였고 이를 통해 정교한 조작이 가능함을 보여주었습니다. 하지만 고전 방법론의 경우 현실 세계에 존재하는 약간의 불확실성에도 대응하기 어렵기에, 불확실성이 가득 찬 공장 혹은 물류창고 밖에서 로봇을 작동시키기는 어려운 점이 많았습니다. 근 10년간 기계학습 (Machine Learning) 분야의 발전은 현실의 불확실성에 대응할 수 있는 인식 (Recognition) 능력을 보여주었습니다. 이러한 성과는 로봇학습 (Robot Learning)을 통해 인공지능을 장착한 로봇이 공장 밖에서 동작할 수 있는 가능성을 보여줍니다. 로봇학습은 학습이기에 당연하게도 데이터가 중요합니다. 오늘 글에서는 그중에서 로봇 학습용 데이터 수집 방법인 시뮬레이션, 모션 캡처, 원격 조작을 살펴보려고 합니다. 1. 시뮬레이션 (Simulation) 시뮬레이션을 통하면 그래픽스로 구성된 가상 세계에서 로봇을 동작시킬 수 있습니다. 이러한 가상 세계에서는 다양한 로봇 형태 및 목적하는 시나리오를 다 서술할 수 있고 이를 통해 로봇 학습 데이터를 얻을 수 있습니다. 특히, 시뮬레이션을 통하면 현실적으로 데이터 취득이 어려운 코너 케이스 등의 시나리오를 구성할 수 있기 때문에 안정성 보장을 위한 꾸준한 수요가 있을 것으로 판단됩니다. 가령 자율주행 시나리오에서 ’고라니가 차량을 덮치는 것’과 같은 한문철 TV에 나올 법한 교통사고 등의 특이한 데이터는 시뮬레이션을 통해서 얻어야 할 것입니다. 하지만, 시뮬레이션은 현실의 복잡한 특성을 완벽하게 반영하지 못하는 한계가 있습니다. 로봇학습을 위해서는 이 차이를 줄일 수 있는 추가적인 데이터 혹은 알고리즘을 요구로 합니다. 다만, 시뮬레이션-현실 차이가 줄어들수록 강점이 매우 커지기 때문에 많은 테크 기업들은 꾸준한 관심을 갖고 있습니다. 엔비디아는 로봇 시뮬레이션을 하기 위한 프레임워크 ISAAC SIM, 메타는 실내에서 동작하는 로봇을 만들기 위한 시뮬레이터인 Habitat을 진행입니다. 2. 모션 캡처 (Motion Capture) 모션 캡처 기술은 모션 캡처 슈트에 표시된 랜드마크를 여러 대의 카메라로 촬영하여 사람의 행동을 3차원 공간에 데이터화하는 기술입니다. 기존에는 애니메이션, 영화, 비디오 게임 등의 캐릭터를 움직이는 데 적용되었고 현재는 휴머노이드 로봇을 움직일 수 있는 학습 데이터로 용도가 확장되는 중입니다. 기존 정교한 모션 캡처 기술은 숙련된 배우가 모션 캡쳐 슈트를 입고 행동을 해야하기에 데이터 취득 비용이 많이 들었습니다만, 기술이 고도화됨에 따라 모션 캡쳐 비용을 크게 줄어들었습니다. 최근에는 카메라 한 대로 찍은 동영상 한대에서 사람의 행동을 뽑아내는 기술 또한 많은 연구개발이 진행되고 있습니다. 최근 들어 많아진 버튜버 또한 모션 캡처 기술이 저렴해지고, 성숙하면서 나온 흐름 중 하나입니다. 기업이 휴머노이드 로봇 개발에 힘쓰는 이유는 데이터 취득의 용이성에 있습니다. 모션 캡처한 데이터를 활용하기 위해서는 실제 사람과 캐릭터의 골격을 조율해주는 모션 리타게팅 (Motion retargeting) 과정이 필수적인데, 휴머노이드 로봇은 사람과 형태가 유사하기 때문에 이 부분에서 문제가 발생할 가능성이 작습니다. 즉, 가상-현실 차이가 작은 것이죠. 실제로 테슬라 휴머노이드 로봇인 옵티머스 1세대의 경우 키 173cm, 몸무게 73kg이며, 오픈AI가 투자해서 유명해진 피규어AI의 피규어01은 160cm, 60kg로 성인의 신체와 비슷한 키와 몸무게를 가지고 있습니다. 데이터 취득을 위해 다양한 모션 캡쳐 방법이 활용될 수 있습니다. (1) 모션 캡쳐 슈트를 사용하는 방법은 매우 정교하며 이미 상업적인 솔루션이 있습니다. 테슬라는 이 셋팅에 VR 장비를 이용해서 시선과 손의 움직임을 더해주는 것으로 보입니다. (2) 실제 작업 공간에 복수의 카메라를 부착하면 모션 캡쳐 슈트 없이도 어느 정도 사람의 행동을 데이터로 취득할 수 있습니다. 물류 창고, 공장 등과 같은 곳에서 작업을 촬영할 수 있을 것입니다. (3) 온라인상에는 사람을 피사체로 한 수많은 동영상이 있습니다. 이 동영상을 활용하여 로봇학습에 쓸 모션 데이터를 취득할 수 있습니다. 3. 원격 조작 (Tele-operation) 원격 조작은 로봇을 동작시켜서 데이터를 취득하는 방법입니다. 앞서 언급했던 두 방법 대비 고품질의 로봇학습 데이터를 얻을 수 있는 확실한 방법이라는 점에서 장점이 큽니다. 가상-현실 차이가 거의 없기 때문입니다. 하지만, 로봇을 직접 동작시켜야 하다 보니 숙련이 필요하고 데이터 규모를 키우기 힘든 단점이 있습니다. 로봇학습은 아니지만 원격 조작은 자체는 다양한 용도로 이미 사용되고 있습니다. 외과 수술에서 다빈치 로봇 등을 사용하여 정교한 외과 수술을 하고 있습니다. 또한, 자율주행을 보완하는 용도로 원격주행 또한 사용 예정입니다. 현재 자동차의 원격 운전은 내년 초 서비스를 목표로 논의 과정에 있으며, 관제센터에서 배달 로봇의 원격 제어 또한 당연히 언급되고 있습니다. 통신만 가능하면 직접적으로 로봇이 동작가능하기 때문에 원격 조작은 우리 생활 속에서 로봇 작동하는 가장 빠른 방법이 될 것으로 보입니다. 사용자의 직접적인 원격 조작으로 데이터 규모를 키우는 데 한계가 있지만, 반대로 원격 조작이 가능한 로봇 플랫폼이 현실에 널리 도입되면 대규모 실사용 데이터를 학습 데이터로 바로 활용할 수 있습니다. 따라서 기업들 입장에서는 원격 조작 로봇으로 시작해서 로봇 플랫폼 확장하는 것이 자연스러운 흐름일 것입니다. 이는 동시에 원격 조작 취득 데이터의 활용 방안에 대한 논의또한 만들 것입니다. 다시 또 반복될 가능성이 있는 사용자와 창작자의 소외 로봇학습을 위한 정형화된 방법은 없기에 기사들의 호들갑보다는 인공지능 로봇의 등장은 늦어지리라 생각합니다. 하지만 챗GPT와 같은 챗봇과 비교했을 때 현실에서 작동하는 로봇은 훨씬 더 높은 사회적 장벽이 있습니다. 챗봇의 환각이나 비윤리적 발화로는 직접적으로 상해를 입을 확률은 낮고 사용자가 유연하게 대응할 수 있지만, 로봇의 오작동은 누군가에게 상해를 입힐 수 있기 때문입니다. 따라서 춘추전국시대인 로봇 학습 방법들이 현실에서 검증되기까지는 인공지능 로봇의 등장은 온라인 미디어상의 검색엔진이나 챗봇보다 훨씬 더 오래 걸릴 수밖에 없습니다. AI에서 발생했던 학습 데이터 문제는 로봇 영역에서도 반복될 가능성이 높습니다. 프라이버시와 저작권 이슈 또한 마찬가지입니다. 현재 직장 내 CCTV는 개인정보보호법의 영역에서 다루어지고 있습니다만, 사측에서 작업 중 모션 캡처 데이터 수집을 위해 영상 촬영을 강제한다면 어떻게 해야할까요? 테슬라가 이용자의 운전 데이터를 가지고 오토파일럿을 학습했다면, 운전 데이터는 일종의 원격 조종 데이터로 활용된 샘입니다. 이 경우 로봇 학습 데이터 활용에 대해 운전자의 동의를 구해야하지 않을까요? 모션 캡처를 위해 온라인 상 동영상을 활용하는 것은 또 어떨까요? 로봇학습은 생성형AI와 달리 온라인 상 동영상이 학습에 쓰였는지 조차 알기 어렵습니다. 다가올 로봇 학습 시대에 상황과 맥락은 달라지겠지만, 학습 데이터 취득 및 활용에 이용자와 창작자의 의사가 반영될 수 있는 구조가 필요하다는 사실에는 변함이 없습니다. #feedback 오늘 이야기 어떠셨나요?여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.

AI 윤리 뉴스 브리프 2024년 8월 다섯째 주by 🤖아침 1. 산업화하는 딥페이크 성착취물 한국의 딥페이크 성착취물 제작유통망에 관한 한겨레 보도가 지난주 나왔습니다. 여성의 얼굴 사진을 넣으면 나체 딥페이크 이미지를 생성해주는 불법합성물 제작 서비스와, 지인의 사진을 공유할 뿐만 아니라 공통 지인을 표적 삼아 성착취물을 제작·유포하는 익명 커뮤니티에 관한 내용입니다. 중요한 보도이니 읽어보길 권합니다. [단독] 딥페이크 텔레방에 22만명…입장하니 “좋아하는 여자 사진 보내라” (한겨레 2024-08-22) [단독] ‘○○○ 능욕방’ 딥페이크, 겹지인 노렸다…지역별·대학별·미성년까지 (한겨레 2024-08-22) 딥페이크 성착취물 제작·유포에 참여하는 인원의 규모(제작용 텔레그램 채널 한 곳에만 22만명이 참여), 조직적인 범죄 양상(여성 지인 사진을 바치는 ‘면접’ 시스템) 등 충격적인 면모가 많지만, 이 사안을 접하는 입장에서 화나는 이유 하나는 이것이 너무나도 예견 가능한 일이었다는 점입니다. 이미지 합성·생성을 쉽게 만드는 AI 기술이 기존의 성착취 구조와 만나 발생시킬 증폭 효과에 관해서는 셀 수 없을 정도로 많은 논의가 있었습니다. 업계나 정부산하기관 자료뿐만 아니라 초등학생 대상 AI 윤리 교재에서도 딥페이크의 해악을 경고합니다. 이런 논의가 선언으로 끝나지 않고 현실의 해악을 해소·예방하는 데 기여할 수 있도록 하는 실천을 고민해야 합니다. “유포 목적 없다”…만들어도 시청해도 처벌 피하는 딥페이크 (한겨레 2024-08-22) “대학에서, 알고 지내던 이들이…내가 알던 세상은 완전히 무너졌다” (한겨레 2024-08-22) 더 읽어보기 음란물은 딥페이크의 부작용이 아니라 순기능 (2024-07-03) 2. AI 이미지, 안 속을 자신 있나요? 생성형 AI의 주요 위험 중 한 가지는 사실과 구분하기 어려운 허위정보입니다. 최근 미국 공화당 대선 후보 도널드 트럼프가 AI 생성 이미지를 이용한 선전으로 문제를 일으켰는데요. 민주당 대선 후보이자 부통령인 카멀라 해리스를 공산당원으로 묘사한 이미지, 테일러 스위프트가 자신을 지지하는 것처럼 합성한 이미지 등을 SNS에 게시한 것입니다. AI 이미지라고 따로 명시하지도 않았습니다. 이런 가짜 이미지에 현혹되는 사람이 바보라고 생각하나요? 생성 이미지와 실제 사진을 구분하기란 의외로 까다롭습니다. 한번 직접 체험해보시죠. 여기 실제 곤충을 찍은 사진과, AI로 생성한 곤충 이미지를 하나씩 보여주는 퀴즈가 있습니다. AI 이미지를 클릭하면 점수를 얻고, 실제 사진을 하나라도 클릭하면 거기서 끝입니다. 25초 동안 가장 많은 점수를 따면 됩니다. https://huggingface.co/spaces/... 설령 내가 개인적으로 AI 이미지를 잘 구분할 수 있다 해도, 수많은 팔로워를 가진 정치인이 허위 이미지를 마음껏 활용하고 플랫폼이 별다른 제재를 가하지 않는 상황에서 이런 이미지가 갖는 힘은 무시할 수 없습니다. 허위정보의 폐해, 현재진행형입니다. 3. AI 위험 분류체계, 통합할 수 있을까? MIT 컴퓨터 과학 및 인공지능 연구소(CSAIL) 기반의 학제간 연구그룹인 퓨처테크(FutureTech)에서 ‘인공지능 위험 저장소’(AI Risk Repository)를 발표했습니다. 인공지능 위험에 관련된 기존 연구논문 43건을 메타분석하여 통합 분류체계를 제시하고 있습니다. 크게는 위험의 주체/의도/발생시점에 따른 분류와, 차별/프라이버시/허위정보/오남용/인간-컴퓨터 상호작용/사회경제 및 환경적 피해/시스템 안전 등 도메인에 따른 분류라는 두 체계 안에서 세부 항목이 있는 형식입니다. 연구팀 측에서는 이것이 ‘기존 AI 위험 프레임워크와 분류체계를 종합 검토하여 각각의 위험을 추출하고 데이터를 공개하는 최초의 사례’라고 주장하는데요. 분석 대상이 된 논문도 문헌 검토 기반의 자료가 많다는 점에서 꼭 그렇게 말할 수 있는지는 모르겠습니다. 메타-메타분석이라고 한다면 맞는 말일까요. 자료의 주 타겟은 정책입안자, 위험 평가 주체, 연구교육자 및 산업계라고 해요. AI 거버넌스와 법규제 관련 논의가 본격화하고 이론적 틀을 제시하는 노력도 활발한 이 시기에, 일종의 ‘완전판’ 프레임워크를 제시함으로써 담론적인 주도권을 가져가려는 시도로 읽을 수도 있어 보입니다. 저자들도 명시하듯 40여 개 문서를 단 한 명의 전문가가 검토했다는 점에서 ‘종합적’인 자료로서는 한계가 있지만요. 4. 이미지 생성 AI 기업 저작권 침해 소송 본격화 개인 창작자들이 스태빌리티 AI 등의 기업을 상대로 제기한 집단소송 기억하시나요? 깃헙 코파일럿 관련 소송, 오픈에이아이 챗지피티 관련 소송과 더불어 생성형 AI 시대의 중요한 재판 중 하나인데요. 이 사건을 다루는 미국 법원에서 AI 기업의 저작권 및 지적재산권 침해가 의심된다고 보아, 소송을 본격적으로 진행하기로 판결했습니다. 디스커버리 제도를 통해 증거 제시에 들어가게 되는 것입니다. 작년에 법원이 해당 소송의 일부 주장을 기각하며 원고측에게 저작권 침해 근거를 보완해오라고 지시한 것에 비추어 보았을 때, 이번 판결은 원고 측 입장에서 중요한 진전으로 볼 수 있습니다. 이미지-텍스트 데이터셋인 라이온(LAION) 시리즈에 원고의 저작물이 포함되었으며, 그 데이터를 학습한 이미지 생성 모델인 스테이블 디퓨전이나 그 모델을 활용한 서비스가 저작권을 침해했는지 따져볼 여지가 있다고 법원이 판단한 것이니까요. 이 재판의 향방에 따라서 스테이블 디퓨전 모델이나 라이온 데이터셋을 활용한 다른 서비스 또한 영향을 받을 가능성이 있습니다. 사실상 대다수의 이미지 생성 관련 기업에 영향을 미친다고 봐야겠죠. 사건의 귀추가 주목되는 이유입니다. 더 읽어보기 깃허브 코파일럿 소송에서 저작권법 쟁점 기각 (2024-07-22) 창작자 생태계 상상하기: 스태빌리티 AI 집단소송 기각에 부치는 글 (2023-11-15) #feedback 오늘 이야기 어떠셨나요?여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.

어떤 뉴스에 붙이는 각주 by 🍊산디 진실을 알고, 알리기 위해서는 섬세한 애정이 필요합니다. 복잡한 것을 나의 편의대로 납작하게 만들지 않으려면 섬세함이라는 미덕과 애정이라는 동력이 필요하죠. 지난 12일부터 13일까지, AI 거버넌스의 프런티어 이슈를 주제로 <서울 AI정책 컨퍼런스 2024>가 개최되었습니다. 컨퍼런스는 이틀간 표준화부터 저작권 문제에 이르기까지 AI와 관련하여 다룰 수 있는 거의 모든 주제들을 다루었습니다. AI가 화두가 되기 전부터 꾸준히 인터넷 정책 분야에서 연구를 계속해온 유수의 연구자들이 모였습니다. 그 중 제가 소개하려는 파트는 개인정보보호 정책과 관련된 내용입니다. 개인정보보호 세션은 대니얼 솔로브(Daniel Solove)라는 조지 워싱턴 대학 법학교수의 기조연설로 시작했습니다. 솔로브 교수는 정보 기술과 프라이버시의 관계를 꾸준히 다루어 온 세계적인 석학입니다. 발표 내용과 청충과의 호흡 모두 훌륭해서 몰입할 수밖에 없는 훌륭한 기조연설이었습니다. 제가 구글에 검색했을 때, 두 개 언론사가 솔로브 교수의 발표를 내용으로 보도했습니다. 아시아경제, "AI 기술 발전할수록 유연한 법체계가 개인정보 보호에 바람직" 아주경제, “'석학' 솔로브 교수 "포괄적 법체계가 AI 시대 개인정보 보호에 적합" 위 보도들은 자칫 솔로브 교수가 오늘날의 기술 환경에서 개인정보보호법이 실질적 효력을 갖기 어려우며, 법이 더욱 유연해져야 한다고 주장한 것으로 읽힙니다. 이러한 요약은 그의 주장을 충분히 전하지 못합니다. 그러니 이 레터에서는 저 나름의 섬세한 애정과 함께 컨퍼런스에서 솔로브 교수의 발표 내용을 나눠보려 합니다. 그는 현재 이용자들이 처해 있는 상황에서 출발합니다. 사막에서 갈급해하는 와중에 물을 주겠다는 사람이 나타나서는 개인정보를 내놓으라고 한다면, 누구나 기꺼이 개인정보를 내어줄 것입니다. 이용자들은 개인정보 수집 및 활용에 동의하는 데 대한 위험을 충분히 인식하지 못합니다. 게다가 이용자들은 수 많은 기업과의 ‘계약’을 통해 자신의 개인정보를 관리해야합니다. 더군다나 개인정보보호약관은 나날이 길어지고 있죠. 정보 서비스를 이용하는 데 있어 개인정보 관리란 너무 복잡하고 어려운 일입니다. 이러한 까닭에 “여기에 당신의 권리가 있고, 당신이 스스로 당신의 권리를 지키세요”라는 현재의 개인정보보호 체계는 그렇게 효과적이지 않다고 솔로브 교수는 주장합니다. 정보주체 개개인의 ‘동의’에 기반한 현재의 모델은 환상이라는 것이죠. 그는 개인정보보호가 사회적이어야 한다고 주장합니다. 개인에게 통제권을 준다는 환상을 강화하기보다는, 법이 사회적 요구로서 개인정보를 보호하고 기업의 개인정보 수집 및 활용을 규율할 수 있어야 한다는 것이죠. 이는 개인정보의 수집과 관리를 개인의 동의 여부, 개인-기업 간 계약관계로 축소하는 대신 사회가 지키고자 하는 개인정보보호 원칙을 분명히 하는 작업을 뜻합니다. 맞습니다. 솔로브 교수의 주장은 앞선 두 보도들이 언급한 것처럼, ‘엄격하고’, ‘구체적인’ 법을 마련하는 것과 다릅니다. 하지만 기업의 처지와 기술의 특성을 십분 고려하여 법 체계가 유연해져야 한다는 의미는 결코 아닙니다. 패널 토론에서 솔로브 교수는, 기술이 변하고 있으니 법도 변화해야 한다는 주장이 존재하지만, 법은 원칙이지 기술이 아니라고 재차 강조했습니다. 실제 변화하고 있는 것은 “이 기술은 전에 없던 신기술이라 기존 법리가 적용될 수 없다”며 책임을 회피하는 기업의 논거들이라는 거죠. 솔로브 교수는 이윤은 자신들의 것이고, 모든 위험은 이용자 개인이 부담하기로 동의했다는 기업의 주장에 대응하는 것이야말로 법의 역할이라고 보았습니다. 우리에게는 개인정보보호법이 무엇을 보호하고자 하는지를 분명히 하는 작업이 필요합니다. 개인정보보호는 왜 중요하며, 무엇을 지키고자 할까요. 집단으로서, 사회로서 개인정보를 보호하는 환경은 어떻게 만들 수 있을까요. 이러한 물음이 납작해지지 않기 위한 섬세한 애정이 더 많아지길 기원합니다. #feedback 오늘 이야기 어떠셨나요?여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.

[스터디 노트2] 데이터 액티비즘과 시빅해킹     빠띠는 ‘데이터로 사회문제를 해결하는 시민의 데이터 플랫폼’을 구축하기 위해 다양한 공익데이터 활동을 진행하고 있습니다. 이는 여러 파트너와 이해관계자와 협력하여 만들어가야 하는 중요한 작업입니다. 그렇기에 공익을 위한 데이터 활동이 무엇인지, 그리고 새로운 인공지능 서비스가 끊임없이 등장하는 시대에 왜 사회문제와 관련된 데이터를 논의해야 하는지에 대한 심도 있는 논의가 필요합니다.이러한 취지에서 빠띠는 ‘인공지능 시대, 데이터 액티비즘과 거버넌스'라는 주제로 스터디를 진행하고 있습니다. 이 스터디는 기술과 사회혁신 두 분야에서 연구 및 국제협력 경력을 보유한 김정원 박사의 발제로 총 4회에 걸쳐 진행되며, 데이터와 시민의 역량, 데이터 액티비즘의 개념, 그리고 데이터의 생산, 관리, 공유를 둘러싼 거버넌스 유형 등 국내외 인공지능과 데이터 관련 주요 이슈를 다룹니다. 스터디를 통해 얻은 핵심 내용을 요약하여 더 많은 분들과 나눔으로써 공익데이터 활동에 대한 이해를 넓히고, 사회문제 해결을 위한 데이터 활용의 중요성을 공유하고자 합니다.     네 줄 요약  데이터 액티비즘은 시민 참여를 통해 투명성을 높이는 중요한 방법이다.  시빅 해킹은 정부가 놓친 문제를 해결하기 위해 협력적인 접근을 취한다.  디지털 사회혁신, 데이터 액티비즘, 시빅해킹은 시민력 증진에 기여한다.  집단지능(인공지능+인간지능)은 복잡한 문제 해결의 핵심요소로 주목받고 있다.    데이터 액티비즘(Data Activism)이란?  2000년대 초반 오픈 정부데이터 운동에서 시작되어 공공 데이터를 공유하여 정부 운영의 투명성을 높이려는 활동으로 발전함. 데이터를 수집, 분석, 시각화하여 새로운 사회적, 정치적 이슈를 부각시키고 변화를 추구하는 것으로 정의할 수 있음.  데이터 액티비즘의 핵심은 ‘시민 참여'에 있음.  목표는 1)시민 참여를 촉진해 2)사회적 불평등을 드러내고 3)정치적 변화를 이끌어내는 것이며, 4)오늘날 대규모 데이터 수집에 저항하여 개인의 프라이버시를 보호하기 위한 목적도 있음.  데이터 액티비즘의 사례로는 다음과 같은 것이 있음 세이프캐스트(Safecast, 일본): 후쿠시마 원전 사고 이후, 시민들이 방사능 수치를 측정하고 데이터를 공유하여 공공의 안전을 도모하기 위한 활동 전개. 원자력 찬반이라는 정치적 이분법에서 벗어나 정확한 데이터를 통해 사회적 신뢰를 구축하기 위해 방사능 측정기를 개발하여 시민에게 보급하고, 측정된 데이터를 모아 ‘방사능 지도'를 만들었음.  데이터포블랙라이브스(Data 4 Black Lives): 2만 명이 넘는 과학자 및 활동가로 구성된 네트워크를 통해 흑인들의 삶에 구체적이고 측정가능한 변화를 만들기 위해 데이터를 활용하는 비영리단체로 통계 모델링, 데이터 시각화, 크라우드소싱과 같은 방법으로 편견에 맞서고 시민 참여를 촉진해 데이터와 알고리즘의 차별적 사용에 도전하는 활동을 지원함.  일상 속 그린워싱 데이터: 빠띠의 공익데이터 활동 중 하나로 판매하는 소비재의 친환경성과 그린워싱 의 기준을 직접 데이터를 수집하고 분석하며 더 나은 소비를 위한 ‘그린가이드'를 만들어 봄.     시빅해킹이란?  기술, 데이터, 협력의 방식으로 시민 문제를 해결하는 창의적인 접근법으로 기술적 솔루션과 혁신적 접근을 통해 시민 문제를 해결하고 지역 사회를 개선하는 것을 목표로 함.  시빅해킹의 접근법 정부 책임성과 투명성을 높이기 위해 정부 데이터 활용 시민의 요구를 해결하기 위한 소프트웨어 애플리케이션, 웹사이트, 도구 개발 지역사회 문제에 대한 통찰력을 얻기 위한 데이터 분석 및 시각화 정부 프로세스와 시민 경험 재설계 시민사회 단체, 혁신 조직과 함께 사회적 문제를 데이터 분석과 기술을 활용하여 해결 시빅해킹 사례로는.  코로나19 공적 마스크 공동 대응 활동: 2020년 코로나19 시기 마스크 수급 대란이 발생. 이에 빠띠, 코드코포리아를 포함한 시빅 해커들이 정부에 코로나19 관련 공공 데이터 개방을 요청하고, 마스크 재고를 실시간으로 파악할 수 있도록 하는 ‘공적 마스크 재고 맵 서비스’를 개발. 이후, 재난시 정부의 공공 데이터 개방과 14만건 이상의 데이터 공개 방침을 세우는 데 영향을 미침.    데이터 액티비즘과 시빅 해킹의 차이점은 무엇? 자료 참조: Data Activism; Civic Hacking as data activism and advocacy:A history from publicity to open government data 사회문제를 해결을 위해 정치적 변화를 이끌어내는 활동을 데이터 액티비즘이라고 한다면, 정부가 하지 못하는 서비스 개선을 위해 시민이 직접 나서 협력하는 방식으로 문제를 해결하는 것을 시빅해킹으로 보는 경향. 학자들이 위와 같이 구분해두었지만, 크게 다르지 않은 개념으로 사용하고 있음. 이런 관점에서 접근법에서도 데이터 액티비즘은 정치사회적 위협에 반응하는 행위라고 한다면, 시빅해킹은 불편하거나 해결이 필요한 것을 “이런 것이 필요하니 해주세요.”, “같이 해볼까요?”처럼 자연스러운 협력적 접근이라고 이야기하기도 함.    데이터 액티비즘과 공공은 상호보완적인 관계를 형성 공공의 데이터 수집 및 활용과 데이터 액티비즘은 상호 보완하며 더 큰 공익을 창출할 수 있음. 공공은 데이터 공유에 제한적이거나 복잡한 절차를 요구함. 특정 관점이나 우선순위에 따라 데이터를 수집하고 분석하기 때문에 시민과 시민사회 조직은 이를 보완할 수 있는 다양한 전문 지식과 관점을 제공할 수 있음.  시민은 데이터를 새로운 방식으로 해석하고 활용하여 혁신적인 해결책을 만들어내기도 하며, 공공기관의 데이터 수집 및 분석 과정을 감시하고 투명성을 높임.  공공이 충분히 반영하기 어려운 지역의 특수성을 고려할 수 있으며, 시민주도의 데이터 활동은 새로운 문제가 트렌드에 빠르게 대응할 수 있음.    데이터 액티비즘과 집단 지능의 중요성  현대 사회의 복합적인 문제를 해결하는데 ‘집단 지능'의 활용이 중요해지고 있으며, 기술과 플랫폼, AI의 발전에 따라 더욱 확장된 개념으로 논의되고 있음.  집단지능이 더 주목받는 이유는 오늘날 거대한 문제가 가진 복잡성과 앞으로 어떤 상황으로 이어질지 모르는 불확실성 때문  오늘날 대부분의 문제가 ‘문제의 원인이 A이니 해결책은 B야"처럼 선형적으로 풀릴 수 없는 유형. 여러 원인이 얽혀있고, 그 원인이 전지구적 범위인 경우도 많음(예: 기후위기)  또한 현상이 빠르게 변화하여 그 흐름을 파악하기가 쉽지 않으며, 여러 사회, 정치, 경제적 변수로 인해 어떻게 변화할지 불확싱성이 높아짐.  정책이나 제도적 방법만으로 해결하기가 충분치 않으며, 개인의 생활 양식이나 행동 변화 등 다양한 수준 및 층위의 변화를 요구함. 집단 지능이란, 인공지능과 인간지능을 결합하여 주어진 문제 해결을 위해 다수의 사람들이 다양한 정보, 아이디어와 통찰을 구하는 확장된 역량을 말함. 즉, 인간지능과 인공지능이 가진 다른 특성(예: 인간은 감정을 고려하고 윤리적 판단을 수행, 인공지능은 패턴 발견과 데이터 학습에 강점)을 결합하여 과거 현상의 근본 원인을 파악하고, 다양한 데이터를 모아 복잡한 문제의 맥락을 이해함으로써, 복잡한 문제를 해결할 수 있는 가능성을 높임.   참조자료: The future of minds and machines: how artificial intelligence can enhance collective intelligence 집단지능이 언제 유용한가?  더 정확한 문제 파악 현재 관찰되는 현상과 관련된 데이터를 통해 빠르게 사실과 전체 맥락적 시사점을 파악하여, 복잡한 현상의 이면에 가려진 문제와 근본 원인을 이해할 수 있음.  적용 방법: 다양한 유형의 데이터를 모아 병합하고, 크라우드소싱을 통해 새로운 데이터를 수집하며, AI를 활용해 분석하고 예측  사례: 페타벤카나(PetaBencana), 세이프캐스트(Safecast), 위센스잇(WeSenseit), 우샤히디(Ushahidi) 해결안 도출  문제 해결안 도출이 어려울 때는 시민참여와 다양한 지능을 모아 새로운 접근법을 시도하거나, 다른 곳에서 검증된 해결책을 찾아보거나, 혁신가들에게 인센티브를 제공하여 새로운 방법을 만들도록 하는 접근법이 필요  적용 방법: 최신 연구결과를 검색하고, 유사 문제의 혁신적 해결방법을 시도하며, 시민 코크리에이션 워크샵과 네트워킹을 통해 다양한 분야의 혁신가들과 협업하여 인공지능을 활용한 데이터 분석과 예측모델을 구축 사례: 올아워아이디어스(AllOurIdeas), 블록바이블록(BlockByBlock) 의사결정&행동  사회적 이슈에 대해 다양한 사람들의 의견을 듣고 함께 의사결정을 내리며, 그 결정에 대한 책임을 공유하고 행동을 이행  적용 방법: 다양한 이해관계자들이 모여 숙의, 숙의 후 투표를 통해 우선순위를 결정, 인공지능을 활용해 수집된 데이터와 조사결과 분석, 이슈 전문가와의 Q&A 및 유사한 그룹과의 협업을 통해 문제와 해결안을 모색 사례: 브이타이완(vTaiwan), 루미오(Loomio), 폴리스(pol.is) 모니터링 및 개선  현재 프로젝트나 정책이 의도한 대로 작동하고 있는지 추적하고 싶다면, 여러 사람이 함께 시스템을 모니터링하여 현 상황을 파악하고 개선점을 찾아내야 함.  찾아낸 개선점을 다른 사람들과 공유하여, 프로젝트나 정책이 더 효과적으로 운영되도록 할 수 있음.  적용 방식: 휴먼디엑스닷오알지(HumanDx.org), 퍼블릭랩(PublicLab.org)   데이터 액티비즘과 시빅해킹에 시민은 어떻게 참여할 수 있는가?(시민참여 유형) 참조자료: Palacin-Silva & Possa, J. (2018) Shut up and take my environment data! A study on ICT enabled citizen science practices, participation and challenges  데이터 소비자로서 참여: 데이터 수집 활동에는 참여하지 않지만, 개발된 서비스를 통해 공익 데이터를 활용하는 방식으로 서비스 이용 (예: 무스티카고 Mustikka Go)  데이터 제공자로서 참여: 데이터 수집과 분류에 참여(주니버스 Zooniverse, 픽스마이스트리트 FixMyStreet, 웨이즈 Waze)  협력자로서 참여: 전문가가 주도하는 문제해결 과정을 지지하고 돕는 역할로 전문가가 전체 프로세스와 우선 순위를 정하고 시민들에게 협력을 요청하는 방식. (시민 과학 프로젝트가 대부분 이런 유형)  공동 디자인 역할로서 참여: 과정 기획, 설계, 실행 전 과정에 참여. 시민들이 직접 자신들에게 중요한 문제를 결정하고, 무엇을 해결할지 결정하고, 개발자 및 전문가와 함께 과정을 만들어나감 시민이 직접 문제해결의 주체로 역할: 시민이 직접 나서 문제 해결의 주체를 만들고 해결과정에 적극적으로 나섬(우샤히디 Ushahidi, 세이프캐스트 SafeCast)   데이터 기반 문제 해결에는 다양성이 중요  집단지능을 활용할 때의 원칙을 소개함. 사람과 관점의 다양성이 집단 지능을 향상시킴(다양성이 확보된 그룹이 유사한 관점을 가진 몇몇 전문가 그룹보다 더 나은 해결책을 도출한다는 연구 결과가 있음)  다양성을 위해, 단일한 데이터가 아닌 다양한 맥락과 관점을 포함한 데이터를 수집해 새로운 통찰력을 얻어야 함. 기술이 아닌 시민을 중심으로, 이들이 변화의 주체가 될 수 있도록 데이터 역량 강화에 중점을 둘 것.    디지털 사회혁신, 데이터 액티비즘, 시빅해킹은 시민력을 키우는 디지털 접근법   데이터 분석을 포함해 기술로 복잡한 문제를 해결하려면, 다양한 관점의 데이터와 사람들의 경험 및 지혜가 필요하며, 이것이 공평하게 목소리를 내고 고려될 수 있는 기술 지원이 중요.  현재 데이터, AI, 플랫폼 기술은 시민 참여를 더욱 용이하게 만들며, 공익적인 목적으로 활용되어, 더 많은 문제를 새로운 방식으로 해결할 수 있는 기회를 열고 있음.  시민들, 사회문제를 해결하고자 하는 기업, 자선단체, 비영리단체, 공공은 데이터 액티비즘과 시빅해킹을 통해 해결할 수 있는 문제가 무엇인지 고민하고, 새로운 집단지능의 활용 방식에 대해 생각해봐야 함.  서로 다른 이해관계자들이 협력하기 위한 공간을 만드는데 있어서 공공의 경청과 지원이 중요함.    함께 생각해봐요. 데이터 액티비즘, 시빅해킹, 집단지능은 우리 사회의 어떤 문제를 해결하는데 효과적일까요?  함께 할 수 있는 다양한 이해관계자는 누구이며, 참여와 협력을 어떻게 만들어나갈 수 있을까요?  한 명의 시민으로서 나는 어떤 방식으로 참여할 수 있을까요?    *정리: 박아영 빠띠 협력가(ahyoung@parti.coop)   *본 내용은 김정원 박사(jungwon@spreadi.org)가 진행한 ‘인공지능 시대, 데이터 액티비즘과 거버넌스' 스터디 내용을 바탕으로 작성되었습니다. 

AI 윤리 뉴스 브리프 2024년 8월 넷째 주by 🧙‍♂️텍스 1. 생성형 AI의 문제를 우회하기 위한 전략: 검색엔진 오픈AI는 2024년 7월 25일, SearchGPT의 프로토타입을 공개했습니다. 이는 향후 출시될 서비스의 티저로, 페이지에는 사용자들이 먼저 서비스를 체험할 수 있는 웨이팅 리스트가 포함되어 있었습니다. 특히, 해당 페이지에는 "사이트가 생성형 AI 학습에서 제외되더라도 검색 결과에 나타날 수 있습니다."라는 매우 흥미로운 문구가 눈에 띄었습니다. 오픈AI가 이미 존재하는 검색엔진 시장에 뛰어드는 선택을 통해 현 생성형 AI의 저작권 문제를 우회하고 새로운 수익원을 확보하는 전략을 추구하는 것이란 판단이 듭니다. 이 경우에는 생성형 AI의 불확실성을 피하고 이미 확립된 검색엔진의 크롤러 및 데이터 거버넌스를 채택할 수 있기 때문입니다. 구글의 반독점법 위반 판결과 함께 새로운 플레이어의 등장으로 오랜 기간 구글이 독점해 온 검색엔진 시장에도 변화가 있을지 앞으로 지켜봐야 할 것으로 보입니다. 2. 프라이버시 샌드박스 적용을 또 다시 유예한 구글 2024년 7월 22일, 구글은 프라이버시 샌드박스를 통해 제3자 쿠키를 완전히 대체하겠다는 기존 계획을 수정하여 여전히 옵션으로 남기는 결정을 하였습니다. 구글은 그 근거로 프라이버시 샌드박스의 실험 결과에서 제3자 쿠키를 사용하는 현재 시스템에 비해 프라이버시 샌드박스가 추천 정확도가 떨어져 광고 수익이 20% 감소할 수 있다는 점을 지적했습니다. 프랑스 온라인 광고 업체인 크라이오는 퍼블리셔들이 60%까지 광고 수익의 하락이 있을 수 있다고도 주장합니다. 프라이버시 샌드박스는 온라인상 이용자를 직/간접적으로 개인정보에 접근하지 않으면서도 현재의 온라인 광고 시장을 유지하려는 프로젝트입니다. 이 이니셔티브는 온라인 광고에서 사용자의 검색기록을 담고 있는 제3자쿠키를 완벽히 대체하는 프레임워크를 도입하는 것을 목표로 2020년 1월에 시작했습니다. 특히 웹브라우저(크롬) 및 모바일(안드로이드)에서 점유율 1등을 차지하고 있는 구글은 현 온라인 광고 시스템을 유지하면서도 규제당국 양쪽을 만족시키기 위한 방안으로 이를 시작했습니다. 온라인 광고는 개인정보 침해와 같은 부정적인 측면을 담고 있는 동시에 이용자에게 무료 인터넷 서비스를 제공할 수 있는 원천이라는 점에서 프라이버시 침해 정도에 대한 줄다리기가 여전히 이어지고 있습니다. 이와 관련된 이해당사자들 간의 논의에서 막상 프라이버시의 원천인 사용자는 배제된 현 상황에서 개인정보 보호를 위한 진전은 어려울 것으로 보입니다. 3. 퍼플렉시티의 표절 논쟁과 수익 분배 프로그램 시작 🦜더 읽어보기- 구글 검색 너 독점 맞음 (2024-08-12)- 1. 현실화되는 인터넷 장벽 (2024-08-05)- 4. 여러분의 트윗은 생성 AI 학습에 쓰이는 게 디폴트입니다 (2024-07-29) #feedback 오늘 이야기 어떠셨나요?여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.

[스터디 노트1] AI 시대의 도전과 데이터 액티비즘     빠띠는 ‘데이터로 사회문제를 해결하는 시민의 데이터 플랫폼’을 구축하기 위해 다양한 공익데이터 활동을 진행하고 있습니다. 이는 여러 파트너와 이해관계자와 협력하여 만들어가야 하는 중요한 작업입니다. 그렇기에 공익을 위한 데이터 활동이 무엇인지, 그리고 새로운 인공지능 서비스가 끊임없이 등장하는 시대에 왜 사회문제와 관련된 데이터를 논의해야 하는지에 대한 심도 있는 논의가 필요합니다.이러한 취지에서 빠띠는 ‘인공지능 시대, 데이터 액티비즘과 거버넌스'라는 주제로 스터디를 진행하고 있습니다. 이 스터디는 기술과 사회혁신 두 분야에서 연구 및 국제협력 경력을 보유한 김정원 박사의 발제로 총 4회에 걸쳐 진행되며, 데이터와 시민의 역량, 데이터 액티비즘의 개념, 그리고 데이터의 생산, 관리, 공유를 둘러싼 거버넌스 유형 등 국내외 인공지능과 데이터 관련 주요 이슈를 다룹니다.스터디를 통해 얻은 핵심 내용을 요약해 더 많은 분들과 나눔으로써 공익데이터 활동에 대한 이해를 넓히고, 사회문제 해결을 위한 데이터 활용의 중요성을 공유하고자 합니다.     네 줄 요약 (데이터 액티비즘 이전에 인공지능과 데이터에 대한 이해 쌓기) AI와 데이터 편향성 문제는 예상보다 사회와 일상에 더 큰 영향을 미치고 있다.  AI 기술이 발전할수록, 사회적 문제 해결과 시민 참여가 더욱 중요해지고 있다.  AI 개발에는 민주적 요소와 함께 디지털 기술 전문가와 일반 시민의 참여가 필요하다.  AI 규제와 정책은 산업의 발전 속도를 따라가지 못하고 있으며, 이에 대한 활발한 사회적 대화가 필요하다.    챗GPT, 오늘날 인공지능 발전 흐름의 집약체  2022년 11월 30일, 오픈AI가 챗GPT를 발표한 이후, 유사 모델이 잇따라 개발되면서 AI 기술 발전이 가속화되고 성능 변화도 뚜렷해짐. AI 기술은 매 3개월 주기로 빠르게 발전하고 있음.  최근 AI 기술은 대부분 생성 AI 알고리즘의 결과물로 데이터가 많을수록 뛰어난 성능을 발휘한다는 점이 중요함(오늘날 데이터의 경제적 가치가 높아지게 된 배경임). 이러한 생성 AI 개발에는 방대한 훈련 데이터와 막대한 컴퓨팅 파워를 요구함.  과거에는 학계가 AI 개발의 중심이었으나, 현재는 민간 기업이 압도적인 비중을 차지하고 있음. AI 모델의 학습 비용이 계속 증가하면서, 투자 자본이 부족한 기업은 경쟁에서 밀려나고 현재 빅테크 기업이 AI 연구와 개발을 주도함.   그래프 출처:  AI Index Report 2024, Stanford Human-centered AI, 2024 데이터와 알고리즘 편향 문제를 파헤치는 콘텐츠 가이드 거대한 해킹(2019): 2016년 미국 대통령 선거 캠페인과 영국 브렉시트 국민투표 캠페인에서 인공지능과 페이스북 데이터가 활용된 캠브리지 애널리티카 사건을 다룬 다큐멘터리. 페이스북은 약 8천 7백만 명의 이용자 개인 데이터를 동의없이 선거 캠페인 전략 회사인 캠브리지 애널리티카에 넘겨주고, 이 데이터를 분석하여 선거에 개입했다는 의혹을 다루고 있음.  소셜딜레마(2020): 실리콘밸리의 유명 소셜미디어 기업에서 일했던 핵심 인력들이 소셜미디어 알고리즘의 위험성과 해악을 고발하는 내용을 다루고 있음. 광고 수익으로 성장하는 IT 기업이 광고 효과를 높이기 위해 이용자의 정보를 어떻게 추출하고, 행동을 유도하는지 보여줌으로써 알고리즘에 저항해야 한다는 메시지를 전달함.    공공 서비스의 디지털 전환: 시민의 권리에 대한 시스템 오류, 그 영향 공공 부문에서 AI 활용이 점차 늘고 있음. 왜 그럴까?  보다 정확한 정보와 예측을 제공하여 더 나은 결과를 도출(예: 기후변화 예측, 응급 서비스 수요 예측, 교통량 예측 등)  어려운 사회 문제에 대한 해결책 제시(예: 기후테크) 맞춤형 공공 서비스 제공이 가능(예: 맞춤형 복지 및 교육 서비스 연계)  반복적이고 시간이 많이 소요되는 작업의 자동화를 통한 효율성 개선  생산성과 효율성을 위해 공공 서비스를 점차 디지털로 전환하고 있음.  알고리즘이 중립적이고 무결할 것이라는 일반적이 인식이 있으나, 이에 대해 문제 의식을 갖게 하는 ‘대학입시’ 관련 사례가 영국에서 일어남.  [케이스 스터디]알고리즘이 대학입시를 결정한다고?! 2020년 코로나19로 영국 대학입시(A-Level)가 취소됨. 대신 모의고사 점수와 내신 성적으로 대학 입시를 대신하기로 결정하는데, 여러 편차를 보정하고 객관성을 보장하기 위해 개별 교사의 판단이 아닌 정부 입시 기관의 자동 알고리즘을 활용함. 그러나 이 과정에서 많은 학생들이 예측 점수보다 낮은 성적을 받아 합격할 것으로 예상한 대학에서 불합격 통보를 받음. 결과에 대한 재심 요청 후 분석 결과, 성적이 하향 조정된 대부분의 학생이 빈곤 지역에 위치한 학교에 재학 중이며, 이들 학교의 과거 대학 입시 결과가 낮았던 것으로 드러남. 반면, 부유한 지역 사립학교 재학생의 점수는 4.7% 상승해 공정성 문제가 제기됨. 최근 3년간 시험 결과 데이터를 반영해 만들어진 알고리즘 계산이 불공정 시비를 불러오자 교육부는 최종 시험결과 통보 후 4일 만에 결정을 취소하고, 결국 각 교사가 제출한 예측 결과를 대입 최종 결과로 인정하기로 함.  관련 내용 더 보기   사회적 이슈를 초래하는 AI와 저작권, 데이터 편향성  생성형 AI는 차별과 배제를 유발하는 콘텐츠를 생성할 수 있으며, 민감한 정보를 누설하거나 추론할 위험이 있음. 또한, 거짓이나 왜곡된 정보를 생성할 수 있고, 악의적 목적으로 악용될 가능성(예: 딥페이크)도 존재함.  생성형 AI 모델의 활용도가 높아짐에 따라 할루시네이션(Hallucination) 문제, 즉, AI의 결과가 허위일 확률이 존재함(챗GPT-4 3%, 클로드 8.5%, 제미나이 프로 4.8%의 확률이라는 연구 결과, 출처: Economist, 2024년 2월) 일부에서는 데이터셋을 단순한 알고리즘의 원료가 아닌, 특정 가치를 가진 사람들과 그들이 제공한 데이터가 개입할 수 있는 정치적 행위로 간주해야 한다는 주장도 있음. 따라서 어떤 데이터를 입력할지, 그리고 누가 이 결정을 내릴 것인지에 대해 깊이 고민하고 질문해야 함.  또한, AI 연구자나 개발자의 구성과 이로 인한 편향성에 대한 연구가 활발히 진행 중이며, 몇몇 연구에 따르면, AI 학자 및 연구자들 사이의 다양성이 부족하다는 문제가 지적되고 있음.  데이터 자체의 투명성과 사용 과정의 투명성에는 차이가 있다는 것을 인식하고, 원래 의도와 달리 발생할 수 있는 위험에 대한 대응 방안도 필요함.     AI 발전에서 민주화 논의의 필요성 왜 필요한가?  AI는 부정확하거나 편견과 편향성을 포함한 결과를 만들어낼 수 있음.  AI의 의사결정 과정은 블랙박스와 같아, 의사결정의 근거를 설명하기 어려운 경우가 많음. 이로 인해 문제 발생시, 개발자나 시스템 운영자는 결과의 책임을 알고리즘에 전가할 수 있으며, 실제 문제의 근본 원인을 파악하고 해결하는 데 어려움을 겪을 수 있음.  AI 개발자와 연구자는 자신들이 개발한 시스템이 사회에 미치는 영향을 전적으로 이해하기 어려우며, 이로 인해 발생할 수 있는 피해를 사전에 예측하기 어려움.  이러한 맥락에서 AI 발전 과정에서 민주적인 요소를 고려하여 공정하고 투명하며, 사회 전반에 긍정적인 영향을 미치는 방향으로 나아가야 함. 이는 ‘AI 사용', ‘AI 개발', ‘AI 이윤', ‘AI 거버넌스' 측면에서 고려될 수 있음.  출처: Democratisig AI: Multiple Meanings, Goals and Methods, AIES '23: Proceedings of the 2023, Seger, E. et al AI가 사용자 데이터를 활용해 창출한 이익의 공정한 분배 문제도 대두되고 있으며, AI의 영향력이 광범위하게 미치는 만큼, 시민 참여와 책임성 확보의 필요성이 제기되고 있음.  AI 알고리즘의 투명성과 의사결정 과정에 대해 기술 업계뿐만 아니라, 시민과 시민사회의 이해가 요구됨. AI 시스템 개발의 각 단계에서 시민사회의 참여와 모니터링이 중요해지고 있으며, AI 개발 시 이해관계자와 시민 간의 협력, 즉 AI 거버넌스 구축이 필요함.   안전한 AI를 위한 국제사회의 노력 미국 공공기관은 AI의 안전한 사용을 위한 가이드라인을 마련했으며, AI를 잘못 사용했을 경우의 사례가 보도되면서 AI 기술에 대한 사회적 경각심도 높아지고 있음. 2023년 4월에 발표된 EU의 인공지능 법안은 우리나라에서도 주목하고 있음. 이 법안은 AI를 위험도에 따라 4개 카테고리로 나누어 규제하는 내용을 담고 있음. 예를 들어, 가장 위험한 AI는 사용이 금지되고, 고위험 AI는 특정 가이드라인을 준수해야 하는 방식임.  이러한 법안의 제정 차제로도 의미가 있지만, 모호한 표현과 복잡성으로 인해 여전히 논란의 여지가 있으며, 실질적 운영까지 많은 어려움이 따를 것으로 예상됨.  출처: AI법 집행주체는 과기부, 산업진항기관이 윤리감시까지… EU와 한국의 AI 법안 차이점, 힌국일보, 2023년 4월 20일   함께 생각해봐요. AI의 영향력이 확대됨에 따라 새롭게 떠오르는 문제는 무엇이며, 그 문제의 근본 원인은 무엇인가요?  AI와 데이터의 통제권은 누구에게 있을까요?  각국의 AI 규제 움직임은 어떠한가요? 규제 완화가 AI 강국을 만드는 방법일까요? 이 과정에서 시민사회의 역할은 무엇일까요?  데이터와 AI의 안전성과 신뢰성을 지키기 위해 시민이 할 수 있는 일은 무엇일까요?    * 정리: 박아영 빠띠 협력가(ahyoung@parti.coop)  * 본 내용은 김정원 박사(jungwon@spreadi.org)가 진행한 ‘인공지능 시대, 데이터 액티비즘과 거버넌스' 스터디 내용을 바탕으로 작성되었습니다.   

모델 안전을 넘어선 AI 안전의 필요성 by 🤔어쪈 지난주 저명한 정치경제학자 대런 애쓰모글루(Daron Acemoglu)가 쓴 ‘AI 안전성 논의가 아예 잘못되었다(The AI Safety Debate Is All Wrong)’는 도발적인 제목의 칼럼이 눈길을 끌었습니다. 올해 초 AI 윤리 북클럽에서 읽은 <권력과 진보> 저자이기도 한 그는 사실 비교적 일찍부터 AI에 관심을 가지며 기술의 경제적 함의를 연구한 바 있는데요. 이번에 쓴 글에서 나타난 그의 입장은 놀라우리만치 AI 윤리 레터에서 지적해 온 내용과 비슷했습니다. 글을 간단히 요약하자면 이렇습니다. 현재 AI 안전성 논의는 AGI의 잠재적인 파멸 위협에 과도하게 집중하고 있어 기술 개발 및 사용 주체의 의도나 권력 구조를 간과한 채 AI 모델의 정렬(alignment) 문제 해결에만 초점을 맞추고 있음 이는 AI의 불필요한 의인화를 넘어 이미 발생중인 실질적인 위험 방지에 도움이 되지 않으며, AI 산업에 대한 과장 광고 효과로서 투자와 인재 유치에만 도움이 될 뿐임 AI 안전성 논의는 주요 AI 개발 및 사용 주체이자 권력을 가진 기술 기업과 정부를 견제할 수 있는 제도적 장치에 대한 시민 요구로부터 다시 출발해야 함 이른바 AGI 논쟁은 AI 윤리 레터의 시작부터 함께해 온 주제입니다. 뉴스레터 초기부터 지금의 기술 기업들의 정반대편에 서있는 팀닛 게브루를 소개하고, AGI가 가리고 있는 현실을 보자고 말해왔죠. AI 하이프 뉴스 체크리스트를 만들어 AI 윤리 논의를 혼탁하게 만드는 과장 광고에 대한 경각심을 불러일으키기도 했습니다. 겉보기에 마술처럼 느껴지기도 하는 AI가 실제로는 어떻게 학습되고 작동하는지를 다루고, 미래가 아닌 지금 바로 여기서 나타나는 문제들을 지적했습니다. 최근에는 AGI를 주제로 북클럽도 진행하여 성황리에 마무리했습니다. 하지만 대런 애쓰모글루와 AI 윤리 레터가 계속해서 지적해온 AGI 논쟁을 차치하고서라도 저는 여전히 지금의 AI 안전성 논의가 잘못된 길에 들어섰다고 생각합니다. 바로 ‘단일 AI 모델’에 초점을 맞추고 있다는 점 때문입니다. AI 안전이라는 주제가 기술적 문제 해결에만 천착하는 문제는 이미 지난 레터를 통해 다룬 바 있습니다. 하지만 자세히 살펴보면 기술적 문제 역시 충분히 다루고 있다고 하기 어렵습니다. 오픈AI, 구글, 앤스로픽, 네이버 등 AI 기업들이 내놓은 AI 안전성 프레임워크는 하나같이 GPT-4o, Gemini 1.5 Pro, Claude 3 Opus 등 그들이 개발한 최신 AI 모델의 위험성 평가를 주요 내용으로 담고 있습니다. 여기서 말하는 위험성 평가란 해킹 문제를 풀 줄 아는지, 생화학 무기 관련 정보를 제공하는지, 사용자를 속일 수 있는지 등을 의미합니다. AI 정렬 문제란 거창하게는 AI가 인간 사회의 가치를 따르도록 하는 것이지만, 실상은 챗봇이 어떤 말을 하지 못하도록 할 것인지가 핵심입니다. 대런 애쓰모글루가 지적한대로 과도한 의인화로 인해 AI 안전이 너무 축소된 모습이죠. 단일 AI 모델을 대상으로 한 평가는 최신 AI 연구 및 산업 동향과도 동떨어져있습니다. 요즘 AI 업계의 키워드인 AI 에이전트 내지는 에이전트 워크플로우(agentic workflow)는 하나 이상의 AI 모델로 시스템을 구성하는 것을 전제합니다. 위 도식을 예로 들자면, 실행 (Execution), 맥락 제공 (Context), 작업 생성 (Task Creation), 우선순위 설정 (Prioritization) 등의 모듈 각각에 AI 모델이 위치하여 에이전트로 기능하는 것이죠. 실제로 많은 서비스가 이러한 구조를 바탕으로 만들어지고 있습니다. 이처럼 다소 복잡한 구조의 ‘시스템’으로서의 AI 서비스를 두고 단일 AI 모델만을 AI 안전 평가 대상으로 삼는 것을 효과적이라고 보긴 어렵죠. 실제로 복수의 AI 모델을 활용하면 개별 AI 모델로는 불가능하던 위험한 일을 수행할 수 있다는 연구 결과도 있습니다. 우리가 살아가면서 사용하는 많은 종류의 기술들 중 단일 객체로 구성된 사례는 거의 없습니다. 대부분 여러 모듈로 구성된 시스템이죠. AI 역시 마찬가지입니다. 단일 AI 모델이 부적절한 출력을 하지 못하도록 막고서 안전하다고 홍보해도, 여러 개의 AI 모델과 다른 기술들을 활용해 만든 복합적인 시스템은 안전하지 못한 상황이 발생할 수 있습니다. 요컨대 AI 안전성은 모델 안전성을 넘어서야만 합니다. 이렇게 모델이 아닌 시스템을 보면서 AI 안전에 대한 시야를 넓히면 시스템이 기술로만 구성되는 것도 아님을 어렵지 않게 알 수 있는데요. 다음에는 이처럼 AI 안전을 보다 확장된 시각으로 이해하고자 하는 사회기술적 접근 방식에 대한 논의를 소개해드리도록 하겠습니다. 동아시아 지역의 AI 윤리가 궁금한 사연 by. 🤖아침 AI 기술과 사회의 관계에 주목하는 뉴스레터를 1년 남짓 운영하며 줄곧 느끼는 갈증이 있습니다. 내가 사는 한국, 좀 더 넓게는 동아시아 지역에 발을 디딘 비판적/대안적 AI 담론이 부족하다는 것입니다. 갑자기 웬 푸념? 조금 부연해보겠습니다. AI 기술에 관련된 이야기는 흔히 서구-영어권을 위주로 서술됩니다. 이 세계관의 중심에는 미국 실리콘밸리, 기술적 혁신이 흘러나오는 곳이 있습니다. 또다른 주연급인 EU는 법규제 등 제도적 장치를 선도하는 역할이고, 중국은 기술개발과 제도 측면에서 모두 발빠르지만 속내를 알 수 없는, 사실상의 적대 진영으로 자리합니다. 이 세계관에서 한국을 포함한 여타 국가에게 중요하다 여겨지는 것은 위 국제질서 속에서 생존하는 일입니다. 서구 기업과 적극 협력하거나, 아니면 실리콘밸리 자본에 잠식되지 않는 독자 경쟁력을 확보하기 위해 자국 산업을 육성하며 자국민을 보호할 수 있는 규제를 마련하거나, 기본 전제는 비슷합니다. 즉 기술은 서구에서 나와 비서구로 전파되거나, 비서구에서 따라잡아야 하는 무언가라는 것입니다. 물론 이는 지나치게 단순한 관점입니다. 기술은 서구에서만 만들어지는 것이 아니며, 일방적으로 '전파'되는 것도 아닙니다. 각 지역의 기술 개발은 서구 기술의 단순한 '이식'이 아니라 다양한 사회적 관계 속에서 이루어집니다. 여러 비판적 연구, 언론 보도, 활동가의 개입 덕분에 우리는 아프리카나 동남아시아의 저임금 노동이 AI용 데이터를 만들고, 컴퓨팅 인프라를 위한 광물이 세계 각지에서 채굴되는 의존 관계를 이미 알고 있습니다. 이같은 비판적 담론은 수행하는 중요한 역할 하나는 AI 기술이 기존 권력 구조를 강화 재생산하는 방식을 보여줌과 함께 남반구 세계(제3세계/다수세계 등으로 불리기도 하는)의 관점을 드러내어, 서구 중심의 AI 세계관에 균열을 내는 것입니다. AI를 둘러싼 개념을 다양한 관점에서 재정립하는 작업(사례1, 사례2), 참여-개입-연구의 경계를 넘나드는 활동(사례1, 사례2), 비-서구에 초점을 맞춘 언론 활동 등 다양한 방면에서 이같은 노력이 이루어집니다. 하지만 [서구 - 남반구]로 확장된 구도에서도 한국 같은 지역은 다소 모호한, 희미한 영역으로 남아 있다고 느낍니다. 왜 이런 기분이 들까요. AI 기술 개발뿐만 아니라 기술 비판 담론 역시도 서구-영어권을 주축으로 활발한 조건 속에서, 한국 등지에 주목하는 비판적 AI 논의가 실제로 충분하지 않을지도 모릅니다. 한편, 이곳을 기반으로 힘쓰는 연구자, 기술 종사자, 교육자, 활동가, 창작자, 언론 종사자, 정책전문가 등이 존재한다는 사실 또한 분명합니다. 실제로 이들의 노력 덕에 노동, 교육, 기후 등 AI를 둘러싼 여러 이슈에서 사회적 대화가 풍부해지고 있고요. 그러니까 제가 국내 논의에 아직 과문해서 부족함을 느끼는 부분도 있겠지요. 이 뉴스레터 역시도 서구나 남반구의 관점을 소개하는 데 그치는 게 아니라, 이곳에서 이루어지는 논의를 찾아 배우고 연결하는 시도의 일환이라고 할 수 있고요. 그럼에도 아쉽습니다. AI 관련 논의가 사회적 가치보다 산업 육성, 국제 경쟁, 트렌드 적응 같은 것에 쏠려 있기 때문만은 아닙니다. 그건 한국뿐만 아니라 어디서나 나타나는 보편적인 현상에 가깝습니다. 이에 대한 비판적 개입은 물론 필요하지요. 하지만 ‘이곳’, 한국 그리고 나아가 동아시아의 이야기가 획기적으로 더 필요하다고 느끼는 이유가 있습니다. 지역적 현실에 충분히 발딛지 못한 기술 비판 담론은, 주류 질서에 대안을 제시하기보다 오히려 그것에 편취될 위험을 갖는 것 아닐까요? 예컨대 AI 윤리/안전 분야 일각에서 ‘다양성’이라는 키워드가 ‘AI 주권 확보’를 위해 국내 산업을 육성해야 한다는 주장의 근거로 동원되거나 ‘리터러시’ 개념이 ‘AI 서비스 사용자 비중’으로 환원되는 양상을 보며, ‘AI 윤리’가 정치안보/경제 논리를 맞닥뜨릴 때 어떤 효력을 가질 수 있을지 걱정됩니다. 다시 말해 앞서의 서구 중심 AI 세계관이나 거기서 뻗어나오는 발전주의 논리가 AI 윤리 논의를 포섭하여 무력화할 위협이 있으며, 이 위협에 대응하는 방식 중 하나는 지역적 현실에 최대한 구체적으로 자리잡는 것이 아닐까 싶습니다. 여기에 하나 덧붙이자면, 국경의 테두리 안에서만 진행되는 논의 역시 (그간의 비판적 담론이 보여주듯 현실과 부합하지 않을 뿐더러) 개별적 국가 내부의 사회적 이슈로만 머물러서는 '발전주의'를 극복하기 어려울 것 같습니다. 유사한 일이 벌어지고 있는 다른 곳의 사정을 파악하고, 그곳의 비판적 목소리와 이곳의 목소리를 연결하고 확장하는 일이 필요해 보입니다. 지역적 맥락을 구체화하고, 특정 국가 이상으로 더 넓은 연대를 만들어가는 작업을 통해 국가주의/자본주의적 논리에 따른 AI 발전론을 견제하는 하나의 축을 마련할 수 있지 않을까 합니다. 그리고 이러한 지역적 맥락은 앞서 언급한 서구 및 남반구와의 관계뿐만 아니라 한국과 주변 지역의 위치성과 관계성 측면에서 고민해야 합니다. 달리 표현하자면 이런 것입니다. 독자 피드백 중 종종 ‘이런 문제의식을 공유하는 사람이 주변에 잘 없는데 뉴스레터 같은 공간이 있어서 다행’이라는 요지의 의견을 주시는 경우가 있습니다. 물론 감사한 일입니다. 동시에, 이같은 공간이 더 넓고 깊어지면 좋겠습니다. 첫머리에서 동아시아를 호출한 것은 이런 연유입니다. 거칠게 말하면 한국과 여러 특성을 공유하는 지역에서 AI 윤리 관련 논의를 확장하고 연결할 필요가 있다는 것입니다. 일본, 대만 등을 아우르는 동아시아 공간은 한국과 지정학적 맥락뿐만 아니라 근현대를 거쳐오며 평화, 노동, 환경, 젠더 등 다양한 시민 연대를 실천해온 역사적 맥락 또한 공유합니다. 이같은 조건이 AI 기술에 관한 비판적 논의에서 공통의 지점을 만들어내는 데 도움이 될 수 있을까요. 즉 유사성을 발견하고, 그 과정에서 목소리를 키울 수 있지 않을까요. 앞으로 이런 질문에 대한 답을 얻을 수 있으면 좋겠습니다. 질문 자체도 더 다듬어야 할테고요. 우선 한국뿐만 아니라 동아시아 지역에서 AI 윤리와 관련된 주요 이슈는 어떤 것이 있었는지 찾아보려 합니다. 거창한 취지와 별개로 개인적인 호기심도 있고요. (일본이나 대만 등지에서는 한국의 이루다 이슈 같은 것이 없었을까요?) 이 주제에 관해 조언이나 팁이 있으신 분, 같이 디깅하고 싶으신 분은 연락 주세요. #feedback 오늘 이야기 어떠셨나요?여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.

AI 디지털교과서 개발과 보급에 관한 기대와 우려가 공존하는 상황입니다. 오픈넷은 AI 디지털교과서 사용이 초래할 수 있는 개인정보유출 문제에 주목해 왔습니다. 아래의 논평은 지난 5월 20일 교육부가 AI 디지털교과서 적용을 위한 교사연수 준비 과정에서 교사들의 개인정보를 '실수'로 유출한 사건에 맞춰 AI 디지털교과서의 개인정보보호 대책을 촉구하기 위해 작성되었습니다.  1만명 교사 개인정보 유출한 교육부, 개인정보보호 대책 없으면 AI 디지털교과서 개발 유예해야 지난 5월 20일, 교육부 주최로 개최된 AI 디지털교과서 적용을 위한 교사연수 준비 과정에서 교육부의 실수로 연수대상자로 선정된 교사 1만 여명의 성명, 학교, 휴대폰 번호가 포함된 개인정보가 유출되는 사고가 일어났다. 방대한 양의 개인정보 수집을 필요로 하는 AI 디지털교과서 개발과 실행의 총책임을 맡고 있는 부처로서 자격미달을 스스로 증명하는 사건이다. 사단법인 오픈넷은 교육부가 AI 디지털교과서의 상용화를 개인정보보호 대책을 완비한 이후로 유예할 것을 촉구한다. AI 디지털교과서는 서책형 교과서를 디지털화한 것이 아닌 학생과 교사와 학부모가 함께 사용하는 ‘교육용 플랫폼’이다. “AI에 의한 학습 진단과 분석”을 하고 “개인별 학습 수준과 속도를 반영한 맞춤형 학습”을 제공하는 “학생의 관점에서 설계된 학습 코스웨어(Courseware, 교과과정(Course)과 소프트웨어(Software)의 합성어)”로 정의하고 있는 AI 디지털교과서는 공공(교육부와 한국교육진흥원 등)이 제공하는 AI 디지털교과서 포털과 민간(AI 디지털교과서 개발업체)이 제공하는 교과별 AI 디지털교과서 그리고 학습데이터 허브로 구성된다. 포털은 학생과 교사가 디지털교과서로 접속할 수 있는 통로이자, 학생 개인의 교과목과 시간표를 확인할 수 있는 책장이면서, 학생은 개인별 맞춤 학습 지원을 받을 수 있고 학부모는 자녀의 학습현황을 파악할 수 있고 교사가 수업을 설계하고 학생을 지도할 수 있는 통합 대시보드로 기능한다. 통합 대시보드에서 제공하는 정보는 학생이 교과서를 활용하며 학습하는 과정에서 발생하는 학습데이터를 분석한 결과물이다. 학습데이터는 학습데이터 허브로 보내져 민간 개발업체에 의해 데이터 분석과정을 거쳐 포털의 통합 대시보드로 전송된다. 디지털교과서는 학생, 학부모, 교사는 물론 민간 개발업체와 교육부, 한국교육학술정보원 등의 다양한 주체가 접근 가능한 소프트웨어 플랫폼인 것이다. 한국교육학술정보원은 2023년 발간한 「AI 디지털교과서 개발 가이드라인」(이하 가이드라인)에서 디지털교과서의 개발 방향을 “국가적 차원에서 데이터 기반의 교육 의사결정을 가능하게 하는 플랫폼의 기능을 충족함으로써 전체적인 교육의 질 향상에 기여”하는 것이라 밝히기도 했다. 플랫폼으로서 AI 디지털교과서의 핵심 구동 요건은 학생이 학습 과정 중에 생산하는 학습데이터, 즉 개인정보이다. 교과서가 수집할 학습데이터는 학습 시간, 콘텐츠 수행도, 콘텐츠 메타데이터, 학습계획 달성도, 접속시간, 형성평가 성취도, 추가 학습 진행도, 질의응답 정도, 커뮤니티 참여도, 학습 정서, 학생의 전학 등의 항목으로 구성될 것이라 가이드라인은 밝혔다. 가이드라인에 따르면 수집된 학생들의 개인정보는 1. 학생들의 학습 이해도의 특성 분석을 기반으로 현재 수준을 진단하고 개인의 능력, 목표에 맞는 적절한 학습 콘텐츠를 추천하고 학습경로를 제시하기 위한, 2. 학생들의 학습 패턴(관심사, 선호도 등) 및 수준 등을 종합적으로 분석해 적절한 학습 콘텐츠를 제시하기 위한, 3. 학생들의 개념 이해도를 높이기 위한 AI 튜터 기능을 제공하기 위한, 4. 학습 패턴 및 활동 분석으로 추가 학습 요소 등의 맞춤형 서비스를 제시하기 위한 분석 데이터로 활용된다.  디지털교과서로 수집할 학습데이터의 범위와 함께 수집은 최소한을 원칙으로 한다고 가이드라인은 밝히고 있다. 그러나 이번 교육부의 교사 개인정보 유출 사건이 벌어진 이상 AI 디지털교과서가 상용화되었을 때 발생할 수 있는 아동의 개인정보 유출 및 오남용의 가능성을 염려할 수밖에 없다. 교육환경에서 수집되는 아동의 개인정보는 디지털인권과 직결되는 문제이므로 성인의 개인정보보호보다 더 세심한 주의를 필요로 한다. 지난 3월 20일 오픈넷이 제3차 민주주의 정상회의에서 주최한 세션 “AI 디지털교과서 개발 정책의 프라이버시와 감시 이슈”에서 발제를 맡은 정현선 교수는 “AI 디지털교과서의 서비스에 포함된 정보 가운데, 특히 ‘학습 태도’, ‘관심사, 선호도’, ‘학습활동 상태’, ‘학업 정서’ 분석은 교육 환경에서 사람의 감정을 추론하는 AI 시스템을 작동하는 것으로, EU 「인공지능법」에서는 고위험(high-risk)으로 분류되는 민감 정보에 해당”하므로 취급에 각별한 주의를 기울여야 함을 지적했다. 토론을 맡았던 손주은 역시 ‘아동의 신원, 학습 활동, 위치, 의사소통, 감정, 건강, 사회적 관계에 대해 수집한 데이터는 가명화, 익명화 등의 비식별처리를 하더라도 조합을 통해 특정 아동을 정확하게 식별’할 수 있음을 지적했다. 가이드라인에 의하면 디지털교과서는 학습자(는 물론 교사와 학부모)가 디지털교과서 포털에 간편하게 로그인하기 위해 지문과 안면 이미지 역시 수집할 것으로 예상된다.  AI 디지털교과서의 상용화는 필연적으로 정부부처가 민간업체를 통해 국가의무교육의 대상인 전체 아동의 개인정보를 수집하게 될 것임을 뜻한다. 이에 따라 전문가들은 개인정보보호 감시감독 체계가 교과서의 개발과 병행해 수립되어야 하고 그 절차 역시도 투명하게 대중에게 공개되어야 한다고 조언해왔다. 정현선 교수는 위의 발제에서 ‘아동의 개인정보보호를 위한 구체적이고 실효성 있는 시행령 등 법규 마련 및 개발사에 대한 관리 감독과 규제 장치를 마련하고 시행해야’ 하고, ‘이를 위한 조사 연구, 학생과 학부모, 교사 및 일반 국민을 대상으로 한 공청회, 예산과 인력 확보가 시급히 요구’되며, ‘조사 연구와 입법 및 관리 감독은 독립적인 기관에서 시행할 수 있도록 인력 및 예산을 확보’해야 한다고 제언했다. 가이드라인은 한국교육학술정보원을 기술 점검, 기술 관리의 주체로 명시하고 있을 뿐, 구체적인 시스템(소관 부서, 업무 내용, 필수 인력의 수 등)에 관해서는 언급하고 있지 않다. 이번 교사들의 개인정보 유출 사건을 계기로 형성된 국민들의 우려를 잠식시키기 위해서라도 교육부와 한국교육학술진흥원은 디지털교과서가 수집할 개인정보 관리와 감시, 감독 체계에 대한 청사진을 미리 공개할 필요가 있다.  교육부는 AI 디지털교과서의 상용화로 그 역할에 있어 큰 전환을 맞게 될 것이다. 교육부는 개인정보처리자로서 개인정보 및 정보보안 체계를 감시감독할 책임이 있다. 학생과 교사, 학부모의 개인정보가 없이는 구현이 불가능한 AI 디지털교과서의 상용화는 학습 포털에 방대한 양의 학생과 교사, 학부모의 개인정보가 축적되고 가공, 편집 등의 처리가 불가피하다. AI 디지털교과서가 수집하는 개인정보의 양은 지금까지 교육부나 일선 학교가 그간 수집해왔던 정보의 양과 비교하지 못할 양일 것이다. 늘어나는 개인정보의 규모에 따라 교육부의 책임은 앞으로 더욱 강화되어야 것이다. 그럼에도 교육부는 미숙한 업무처리로 1만 여명에 달하는 개인교사들의 민감한 정보를 유출하고 말았다. 이 사건은 교육부가 AI 디지털교과서의 개인정보보호 체계를 감시감독할 능력이 있는가를 근본적으로 의심하게 만든다. 오픈넷은 교육부가 학교 현장을 안심시킬 수 있도록 개인정보보호의 확실한 대책을 마련하고 투명하게 공개하기 전까지 AI 디지털교과서의 개발을 유예할 것을 촉구한다. 사단법인 오픈넷2024년 6월 7일

브뤼셀 효과일까 브뤼셀 장벽일까 by 🍊산디 미국은 군사력과 기술력으로, 중국은 ‘일대일로’로 대표되는 대규모 투자로 국제사회에서 영향력을 행사하고 있습니다. 이런 와중에 또 다른 주요 행위자, EU는 규제를 통해 국제사회에서의 지위를 유지하려는 독특한 전략을 펼치고 있죠. EU는 ‘브뤼셀 효과(Brussels Effect)’를 염두에 두고 정책을 설계하는 것으로 보입니다. 브뤼셀 효과는 EU가 정책 환경을 선도함으로써 전 세계 시장 행위자에게 영향을 미친다는, EU의 포부이자 실제 현상입니다. 지난주에 소개드렸던 정당한 이익의 법리도 EU GDPR(General Data Protection Regulation)로부터 영향을 받았습니다. 우리나라 인공지능 법을 논의에 자주 등장하는 위험기반 접근(risk-based approach)이 EU 인공지능 법(AI Act)을 토대로 하고 있음은 두말할 나위 없습니다. EU는 단일 유럽 시장을 달성하고 유럽의 소비자와 환경을 보호하는 두 가지 목표를 위해 움직입니다. 1990년대 이래 수십 년간 상품과 서비스가 자유롭게 이동할 수 있는 단일 시장을 조성하고, 유럽 전역의 소비자와 환경을 보호하기 위한 제도적 노력을 해왔죠. 이들은 전 세계 시장을 목표로 하는 글로벌 기업에 큰 영향을 미쳐왔습니다. 아누 브래드퍼드(Anu Bradford)는 그의 저서에서 브뤼셀 효과가 나타날 수 있었던 이유를 다음과 같이 분석합니다. 시장 규모: 유럽 시장은 규모 면에서 클 뿐만 아니라 매력적인 시장이기도 합니다. 다양성이 높고 구매력이 높을뿐더러, 영향력 있는 소비자가 많아 사업자가 실질적인 수요를 찾기 용이합니다. 높은 규제 역량: EU 집행위원회는 높은 정책 전문성을 갖고 있는 것으로 평가됩니다. 학력 수준이 높을 뿐 아니라 다양한 국가에서 활동해 온 전문가들이 모여있다 보니 회원국 일반에 적용 가능한 정밀한 정책 설계 역량을 갖추고 있다고 하네요. 유럽 집행위원회의 예산이 적다는 사실 또한 모든 역량을 규제에 쏟는 계기가 되었습니다. 엄격한 기준: 유럽 시민들의 소비자 및 환경 보호 요구로 인해 EU 규제 기준은 더욱 강해졌습니다. EU는 만장일치가 아닌 가중 다수결(qualified majority)을 통해 의사결정을 하기 때문에, 모두가 합의할 수 있는 수준으로 규제 수준을 낮추지 않아도 새로운 규제를 다른 국가에게 설득할 수 있는 계기가 되었습니다. 고정된 정책 대상: EU의 규제 프레임은 소비자를 중심으로 설계되어 있습니다. 즉, EU 소비자에게 상품 및 서비스를 판매하는 기업은 소재지와 무관하게 규제 대상이 됩니다. 이로써 규제의 예측 가능성이 높아집니다. 표준화를 통한 비용 절감: EU는 대규모의 법적, 기술적 표준화를 이룸으로써 기업이 EU의 규제를 준수하는 과정에서 발생하는 비용을 줄입니다. 기업은 일단 EU의 규제를 따르면 EU 회원국뿐만 아니라 전 세계 어디에서나 규제 위험을 피할 수 있을 것이라는 기대를 하게 되죠. 기업에게도 EU의 규제를 준수하는 것이 효율적인 전략일 수 있습니다. 하지만 AI 기업 간 경쟁이 치열해지는 지금, 브뤼셀 효과가 지속될 수 있을지 회의하게 되는 사례들이 속속 나오고 있습니다. 메타는 멀티모달 AI 모델(가상 비서)을 EU 시장에 제공하지 않기로 하는가 하면, 애플은 아이폰15부터 장착되는 AI 기능인 ‘애플 인텔리전스’를 EU 시장에서는 서비스하지 않기로 했습니다. 이런 결정은 부분적으로 EU AI 법의 범용AI모델(General Purpose AI, GPAI)에 대한 별도 규제에 근거합니다. AI 법은 GPAI 학습에 활용된 데이터의 목록을 공개하고 저작권자가 요청할 경우 해당 데이터를 학습 데이터셋에서 삭제하는 것, 적대적 테스트를 시행하는 것, 사건 발생 시 이를 추적하고 문서화할 것 등을 요구합니다. 디지털시장법(Digital Market Act, DMA)도 규제 장벽으로 거론됩니다. DMA의 상호호환성 규정을 준수하기 어렵다는 겁니다. AI 기업들은 모든 자원을 총동원하여 독자적인 AI 기술을 개발하고, 그것의 성능을 높여 최대의 이용자를 확보하는 데에 혈안이 되어 있습니다. 안전성과 기업 정보 공유는 뒷순위에 있죠. 이런 와중에 EU의 규제를 준수하려면 기업은 적지 않은 비용을 치러야 합니다. 만약 범용AI모델을 제공하는 빅테크가 EU 시장에 진출하게 되면 다른 사업자와의 호환성을 위해 기술에 대한 정보를 공개해야 하며, 저작권자의 권리 보호를 위해 학습 데이터 리스트를 공개하고 삭제 요청에 대응해야 하고, 규제기관에게 기업 경영과 AI 모델에 대한 정보들을 제출해야 하며, 안전성에 문제가 있다는 사실이 드러났을 시 대대적인 조사, 언론 보도와 함께 AI 상품에 대한 대중의 신뢰도가 낮아지고, 적용되는 법에 따라 전 세계 매출액의 최대 7%~10%에 이르는 과징금을 내야 합니다. 기업들의 입장도 이해가 되기는 합니다. 규제는 비용일 수 있고, 한정된 자원을 ‘경영자가 원하는 대로’ 배분하는 데에 영향을 미치죠. 기업은 본래 수익을 좇습니다. 그러니 기업이 비겁하다는 비판보다 필요한 것은 이러한 정책 환경이 어떤 효과로 이어질지에 대한 판단입니다. AI 기업들이 EU에 서비스를 출시하는 걸 꺼리는 모습입니다. 아무리 EU라도 EU 소비자가 없는 기업을 규제할 권한은 없습니다. 세계화를 향유했던 EU 브뤼셀 효과는 빠르게 블록화하는 오늘날에도 계속될 수 있을까요? 규제로 인해 EU 소비자의 후생이 저해되는 것은 아닐 것일까요? 혹은, 비유럽 국가 소비자들의 데이터로 ‘안전’해진 서비스를 EU가 체리피킹하는 결과로 이어지지는 않을까요? EU를 피하는 기업들은 경쟁에서 살아남을 수 있을까요? #feedback 오늘 이야기 어떠셨나요?여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.

AI 윤리 뉴스 브리프 2024년 8월 둘째 주by 🤔어쪈 1. 현실화되는 인터넷 장벽 웹사이트 운영자는 콘텐츠를 AI에게 빼앗기지 않기 위해 장벽을 세우고, AI 기업들은 눈에 불을 켠 채 학습 데이터를 찾아다니며 장벽을 뚫기 위해 갖은 수단을 동원하는 모습은 어쩌면 예견된 미래일지 모릅니다. AI 기업들은 크롤러를 이용하여 인터넷 상의 데이터를 수집하는데, 그 정도가 과하다는 웹사이트 운영자들의 불만이 터져나오고 있습니다. 하루에만 10TB를 다운로드하며 오픈소스 문서 저장소에 한달 5000 달러 이상의 웹 호스팅 비용을 물리는가 하면, 크롤러명을 바꿔가며 차단을 우회하고 있다는 의혹까지 불러일으키는 경우도 있습니다. 이에 따라 온라인 상에서 크롤링 금지와 콘텐츠 유료화가 갈수록 보편화되고 있습니다. 대표적으로 미국 최대 온라인 커뮤니티인 레딧은 구글과의 독점 콘텐츠 제공 계약 이후 구글 검색 엔진 외로 크롤링을 허용하지 않는 방향으로 정책을 변경했습니다. 앞으로 레딧에서 작성되는 콘텐츠는 레딧에 직접 접속하거나 구글 검색 엔진으로만 접근이 가능하게 된 것이죠. 이 때문에 마이크로소프트 빙과 같은 다른 검색 엔진과의 충돌도 있었습니다. 검색 엔진을 통해 온라인 정보 접근이 용이해지면 모두에게 이익이 될 수 있다는 전제하에 만들어진 robots.txt 파일명으로 유명한 크롤링 관련 규약이 AI로 인해 무너지고 있는 걸까요? 이전 레터에서 우려했던 상황은 다행히도 AI 기업들이 검색과 AI 학습 등 목적 별로 다른 크롤러를 이용하는 움직임이 자리잡아 크게 문제로 대두되진 않고 있습니다. 하지만 지금처럼 불신이 축적된다면 인터넷의 개방성을 더이상 당연하게 여길 수 없는 상황이 도래할 것입니다. AI 기술 개발을 위해 우리는 무엇까지 희생해야 하는 걸까요? 🦜더 읽어보기 닫힌 오픈AI를 다시 여는 방법 (2024-07-24) 2. EU AI 법 발효 이후 더 시끄러워질 우리나라 지난 3월 유럽의회에서 가결된 인공지능법(AI Act, EU AI법)이 드디어 발효되었습니다. EU AI 법의 대부분의 조항이 시행까지 2년의 유예 기간을 가지기 때문에 곧바로 변화가 생기는 것은 아닙니다. 다만 인권 침해 등 심각한 위험성을 가진 AI 시스템은 곧장 6개월 후부터 금지되며, 1년 뒤엔 생성형 AI와 같은 범용 목적의 AI 시스템에 대한 정보 공개 및 저작권 준수, 위험 평가 의무가 부과됩니다. EU 집행위원회가 2021년 처음으로 법안을 제안한 이래 유럽에서 관련 소식이 들려올 때마다 우리나라 역시 입법 논의로 들썩였는데요, 이번에도 마찬가지입니다. 22대 국회 개원 두 달 만에 6건의 AI 법안이 발의된 상황 속에서 무엇보다 정부의 추진 의지가 강해보입니다. 부처간 협의를 통해 마련된 AI 기본법 정부안을 마무리하고 있다고 밝혔고, 그에 앞서 대통령 직속의 민관협의체인 국가인공지능위원회를 두도록 하는 대통령령을 의결하며 마중물을 붓는 모습입니다. 최근 레터에서도 다뤘듯 국내 AI 기본법 논의가 산업 진흥에만 초점을 맞추고 각종 위험 통제를 위한 안전장치의 필요성을 축소하는 것은 아닌지 우려하는 목소리가 지속되고 있습니다. 특히 정부는 ‘시민단체 반대 의견’에는 귀를 닫고 있다는 의심을 받는 중입니다. 국가인공지능위원회와 같은 정책 논의 테이블에 누구를 앉히는지, 기업과 같이 특정 집단이 과대대표되지는 않는지 감시와 참여가 필요합니다. 🦜더 읽어보기 이 주의 정책 카드: 유럽연합 AI법(EU AI Act) (2023-06-19) EU AI법, ‘글로벌 표준’과 국경의 문제 (2024-03-18) 3. AI 버블 우려, 세번째 AI 겨울? AI 가성비를 의심하는 목소리가 계속해서 커지고 있습니다. 두달 전 세계 최대 규모의 벤처캐피털 세콰이어캐피털은 전세계적으로 AI에 투자된 금액을 6000억 달러로 추정하고, 이게 회수가 가능한 수치인지 의심을 표했습니다. 이어 지난 레터에서 다룬 것처럼 골드만삭스 등의 투자회사 역시 회의적인 시각을 담은 보고서를 내놓고 있습니다. AI 분야에 거품이 심하게 꼈다는 지적이 이어지며 주식 시장 역시 크게 영향을 받은 모습입니다. 사실 AI가 약속한 것은 직접적인 수익이 아닌 생산성 향상이기 때문에 투자이익률이 곧장 숫자로 잡히진 않을 수 있습니다. 하지만 AI가 과연 생산성 향상에는 도움이 되고 있을까요? 최근 진행된 설문결과에 따르면 꼭 그렇진 않은 것 같습니다. 기업 경영진은 생성형 AI가 생산성에 도움을 줄 것이라는 기대를 갖고 관련 기술을 도입했지만 직원들은 다른 입장을 보이고 있습니다. 설문에 응한 실무자 중 절반은 여전히 AI를 어떻게 활용해야 하는지 모르며, 오히려 도입 후 생산성이 저하되고 업무 부담만 가중되었다고 답한 사람이 대부분이었습니다. 물론 이러한 반응이 이제 막 개발중인 기술에 너무 빨리, 또 너무 많은 것을 바라는 것일 수도 있습니다. 하지만 기대감을 계속해서 부풀려온 AI 업계와 이에 반응해 쏟아져나온 수많은 AI 하이프 뉴스, 또 그에 비례하여 투자된 막대한 자원을 생각해보면 꼭 그렇지도 않습니다. AI 겨울을 기억하는 이들에게는 최근 소식들이 결코 좋은 신호로 보이진 않았을 것입니다. #feedback 오늘 이야기 어떠셨나요?여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.

부끄러운 일에 쉽게 쓰는 AI by 🎶소소 레터에서 많이 전하는 소식 중 하나는 AI로 인한 문제 소식일 텐데요. AI를 둘러싼 장밋빛 미래 뒤편에서는 AI로 인한 피해와 위험 사례를 모니터링하며 분석하고, 분류 체계로 정리하기 위한 노력도 이뤄지고 있습니다. 오늘은 그중에서 생성형 AI의 오용(Misuse)으로 문제가 된 실제 사례를 모아 분석한 연구 결과를 소개하려고 합니다. 이 연구는 AI의 기능적 결함으로 인한 피해를 제외하고 개인이나 조직이 AI를 의도적인 악용한 사례 약 200건을 살펴보았습니다. 가장 빈번하게 발생하는 AI 오용 사례는 특정 인물을 사칭(Impersonation)하거나 정보를 위조(Falsification)하는 형태로 나타났습니다. AI로 콘텐츠를 끊임없이 생산하여 증폭시키면서(Scaling and Amplication) 가짜 프로필을 이용해 여러 사람의 의견인 척하는(Sockpupetting) 행위도 다수 일어났습니다. 생성형 AI로 인한 피해가 어떻게 진화하고 있는지를 확인할 수 있었는데요. 흥미로운 점은 이렇게 AI를 악용하는 데 프롬프트 해킹과 같은 전문적인 기술이 사용된 경우는 손에 꼽았다는 점입니다. 그저 주어진 생성형AI의 기본 기능을 이용하는 경우가 다수였습니다. 그렇다면 사람들을 어떤 목적으로 AI를 악용하는 걸까요? 오용의 목적(Goal)을 유추하여 분류한 결과 1순위를 차지한 목적은 여론 조작이었습니다. 생성형 AI로 조작된 콘텐츠는 주로 전쟁, 사회 불안, 경제 위기와 관련된 수많은 소문과 음모론을 만드는 데 탁월하게 이용되었습니다. 바이든 대통령을 사칭한 음성 파일과 조작된 하와이 산불 이미지는 조직적으로 퍼지며 정치적 분열을 유도했습니다. 2순위로 꼽힌 AI 오용의 목적은 수익 창출이었습니다. 딱 봐도 생성형 AI로 쓴 것 같은 글로 도배 된 블로그를 한 번쯤 본 적 있으실 텐데요. <AI로 블로그 수익 자동화하는 법>은 유튜브에서도 떠오르는 콘텐츠 중 하나죠. 광고 수익을 얻기 위해 자동으로 생성된 저품질 AI 콘텐츠의 범람을 막기 위해 구글은 새로운 검색 정책을 발표하기도 했습니다. 저품질의 AI 생성 기사나 AI가 쓴 책이 양산되는 문제가 발생하기도 했습니다. 생성형 AI를 활용한 다수의 성 상품화 콘텐츠도 금전적 이익을 목적으로 거래되고 있었습니다. 사기는 AI를 오용하는 또 다른 동기입니다. AI가 생성한 영상이나 비디오를 사용한 화상통화로 직원 동료나 상사를 사칭하여 피해자의 돈을 갈취하거나, 조직의 상표나 로고를 그럴듯하게 모방한 피싱 이메일로 사람들을 속이는 사례가 증가하고 있습니다. 물론 악의적인 여론 조작과 사기 시도는 AI 등장 이전부터 있었던 문제입니다. 그러나 AI가 활용되며 문제가 빠르게 증가하고 악화되고 있습니다. 생성형 AI는 사람들을 더 정교하게 속일 수 있을 뿐만 아니라 싸고 쉽게 사용할 수 있기 때문입니다. AI 기업이 AI 모델이나 서비스를 배포하면서 자주 덧붙이는 말이 있습니다. “AI 모델은 완벽하지 않음을 주의하라.” AI 기업이 당사의 AI 모델의 완벽하지 않음을 인지하는 것은 중요합니다. 이용자가 비판 없이 AI를 사용하거나 악용하는 것 또한 분명 문제입니다. 그러나 만약 딥페이크 기술이 너무나 쉽고 빠르게 음란물을 만들어 문제가 된다는 사실을 알면서도 모른 척한다면, 기업이 사용자의 악용을 방치하는 것입니다. 이러한 방치가 음란물 제작을 딥페이크의 부작용이 아닌 순기능으로 만들고 있음을 주목해야 합니다. 이렇게 다양한 목적으로 사회 곳곳에서 문제를 만드는 AI의 악용을 어떻게 방지할 수 있을까요? 오픈AI, 구글, 메타 등 AI기업은 책임있는 AI 개발과 활용을 강조합니다. AI 서비스에 안전성 필터(Safety filter)를 적용하고 생성 AI 콘텐츠 탐지 및 워터마크 기술을 사용하는 등 여러 기술적 솔루션도 제안합니다. 그러나 이러한 기술적 조치가 만병통치약은 아닙니다. 악의적인 행위자의 기술도 발전하기 때문입니다. 때로는 AI를 사용하는 사람들을 직접 교육하는 방법도 도움이 될 수 있다고 합니다. 예를 들어, 조작된 정보의 확산을 막기 위해 사람들에게 조작된 콘텐츠 구분법을 알려주는 짧은 동영상을 시청하게 한 것만으로도 신뢰할 수 있는 콘텐츠를 구별하는 능력이 향상된다고 합니다. 예방접종과 같은 효과라고 합니다. 부끄러운 일에 AI가 쉽게 쓰이는 것을 막기 위해 앞으로는 기술적 연구뿐만 아니라 AI를 이용하는 사람에 영향을 미치는 사회적, 심리적 요인의 이해도 더욱 필요할 것으로 보입니다. #feedback 오늘 이야기 어떠셨나요?여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.

AI 윤리 뉴스 브리프 2024년 8월 첫째 주by 🍊산디 1. 개인정보 가져가는 ‘교실혁명’ 전국의 디지털 선도학교에서 활용하는 AI 교육 프로그램들이 학생들의 개인정보를 광범위하게 수집해왔다고 합니다. 쿠키 정보 수집, 스마트폰 단말기의 연락처 정보, 위치정보, 심지어 생체정보인 안면 데이터까지 ‘필수’로 수집한 사업자도 있습니다. 문제는 학생과 보호자들은 개인정보 수집과 그 활용에 대해 알기 어려울 뿐더러, 동의하지 않으면 교육 서비스를 이용하지 못한다는 데 있습니다. 정보주권 행사가 사실상 불가능한 겁니다. 이런 와중에 AI 디지털 교과서 사업은 진행 중입니다. 지난 23일 열린 국회 토론회에서 일선 교사들은 “AI 디지털 교과서 핵심기능들이 형편없다”고 토로했다고 해요. 정답률과 오답률, 정확도만 보여주는 대시보드에서 교사들은 교육에 참고할 정보를 얻을 수 없었다는 것이죠. 우리 교육의 목표가 정답률을 올리는 데 있는 것일까요? AI 디지털 교과서의 개인정보보호 정책, 콘텐츠 모두 빈약하다는 우려가 커집니다. 그럼에도 불구하고 이 사업을 서둘러야하는 이유가 궁금합니다. 설마 ‘있어 보이는 기술’을 도입하는 개인적 영광을 누리고 싶다거나, 행정적으로 이미 추진 중에 있어 무를 수 없다는 등의 이유는 아니겠죠. 교육부의 정책 우선순위가 뒤죽박죽이라는 느낌은 저만의 생각일까요. 💌 덧붙이는 글- 🍊산디: 교육 현장의 개인정보보호 이슈가 보도될 때마다 다문화가정의 학생들과 보호자들은 어떤 상황일지 상상해보곤 합니다. 한글에 익숙하지 않아 학생의 개인정보보호는 커녕 가정통신문을 읽는 것 자체가 허들이 되는 상황을 극복하는 것이 우선이지 않을까요. AI로 번역만 잘 해도 정보주권, 교육권이 훨씬 높아질텐데요. 🦜더 읽어보기- AI 디지털 교과서 도입 유보를 원하는 5만 명(2024-07-01)- 교사 개인정보 유출, AI 디지털 교과서는 준비 되었나(2024-06-03)- 외부인의 'AI 디지털교과서' 단상(2024-02-21)- AI 교과서는 우리 아이 데이터 채굴기?(2024-01-29) 2. 메타, 닫힌 인공지능을 열다? 메타가 자사의 최신 초거대언어모델인 라마 3.1(Llama 3.1)을 오픈소스 형태로 선보였습니다. 성능면에서 오픈AI의 GPT-4o, 앤트로픽의 클로드 3.5 소네트를 능가할뿐더러 운영비용도 절반 수준이라는 게 메타의 설명입니다 . 메타의 CEO 저커버그(Mark Zuckerberg)는 라마 3.1을 리눅스에 빗대며 오픈소스 AI가 ‘산업 표준’이 될 것이라는 비전을 제시했습니다. 메타의 오픈소스 정책은 후발주자가 산업 표준을 결정해볼 수 있는, 그럴싸한 시장 확보 전략으로 보이긴 합니다. 의도야 어찌되었든 메타의 전략은 연구자, 기업에게 새로운 선택지를 제시하며 시장·연구 생태계의 자원이 특정 기업에게 집중되지 않도록 완화할 것으로 예상됩니다. 오픈AI가 GPT-3를 ‘상품’으로 서비스하기 시작하면서 생성 AI 연구 생태계가 폐쇄적으로 변화하는 모습들이 곳곳에서 발견되고 있습니다. 라마를 비롯한 오픈소스 AI 모델들은 폐쇄적인 AI 연구 문화에 대한 대항마로 기능하고 있습니다. 한편 오픈소스를 좋은 것, 폐쇄형 모델을 나쁜 것으로 보는 이분법이 타당하지 않으며, AI 모델의 안전성과 목적에 따라 개방의 정도를 달리 정해야 한다는 주장도 존재합니다. 개방과 폐쇄 사이 어딘가에서 AI 연구 생태계는 어떤 변화를 겪고 있을까요? 연구자들과 개발자, 오픈소스 커뮤니티는 어떻게 대응하고 있을까요? 💌 덧붙이는 글- 🍊산디: 편의상 ‘오픈소스’라고 표현했습니다만, 라마의 이용 라이센스가 기존 오픈소스 정책과 부합하지 않는다는 비판 또한 존재합니다. 라마3.1의 라이센스 역시 앞선 버전들과 마찬가지로 월간 활성사용자(MAU) 7억명 미만인 경우에만 상업적 활용이 가능하다고 명시하고 있네요. 오픈소스를 어떻게 정의할 수 있을지, 정의가 불가능하다면 다만 개방-폐쇄의 스펙트럼 위에서 상대적인 비교만 가능한 것인지 의문이 남습니다. 🦜 더 읽어보기- 창작자와 환경 모두를 위한 개방형 AI(2024-07-24)- 오픈소스로 공개된 라마3(2024-04-22)- 이 주의 논쟁 카드: 라마(LLaMA) 2(2023-07-24)- 오픈소스 AI의 딜레마(2023-05-29) 3. 공개된 개인정보 처리: ‘정당한 이익’을 찾아서 지난 7월 17일, 개인정보위원회(개보위)는 <인공지능(AI) 개발·서비스를 위한 공개된 개인정보 처리 안내서>를 발표했습니다. 웹 스크래핑 등으로 수집되어 활용되는 공개 데이터가 개인정보보호법을 위반하지 않기 위해서 어떤 안전 조치를 취해야 하는지 그 최소 기준을 제시한 것입니다. 공개 데이터의 처리를 둘러싸고 국내외 모두 ‘정당한 이익’ 법리가 큰 쟁점이 되고 있습니다. GDPR 6조 1항은 개인정보의 처리가 적법하다 할 수 있는 사유 중 하나로 ‘정당한 이익(legitimate interest)’을 제시합니다. 공개된 개인정보를 처리함으로써 얻는 이익이 정당하고 정보 주체의 근본적인 권리와 자유를 침해하지 않는다면, 개인정보를 처리할 수 있다고 명시한 것이지요. 기업의 정당한 이익과 정보 주체의 권리를 비교하도록 했으니, 당연히 GDPR의 쟁점 조항이 됩니다. 우리 개인정보보호법 또한 기업의 ‘정당한 이익’이 명백하게 정보주체의 권리보다 우선한다면, 개인정보의 수집과 목적 범위 내에서의 이용이 가능하다고 규정하고 있습니다. 개보위의 이번 안내서는 개인정보보호법의 ‘정당한 이익’을 AI 분야에 어떻게 적용할지 그 기준을 제시한 것인데요. 개보위는 인공지능 개발 목적의 정당성, 공개된 개인정보 처리의 필요성, 구체적 이익형량 등 세 가지를 충족할 것을 요청하고 있습니다. 시민사회는 이번 안내서가 EU와 한국 법체계의 차이를 무시하고 무리하게 정당한 이익 법리를 확장했다는 입장입니다. 나아가 우리 개인정보보호법조차 제대로 지키지 않았다고 지적합니다. 정당한 이익은 메타, X(트위터)가 이용자의 포스트를 가져다 AI 학습에 활용할 수 있는 가장 큰 근거가 되고 있습니다. 한국의 법률 환경은 어떤 균형점을 찾게 될까요. 4. 여러분의 트윗은 생성 AI 학습에 쓰이는 게 디폴트입니다 구 트위터, X가 그들의 생성 AI 학습에 X 포스트, 상호작용 등을 활용하도록 하는 옵션을 배포했습니다. 문제는 기본값이 ‘허용’이라는 거죠. 이용자가 옵트아웃(opt-out)하도록 설계된 것입니다. 몇 달 전, 메타도 비슷한 접근을 취했습니다만, EU에 의해 제동이 걸렸습니다. 메타는 생성 AI 학습에 페이스북, 인스타그램 등 자사 서비스에 공개된 게시물과 이미지, 캡션 등을 활용할 계획이었습니다. 하지만 메타가 GDPR을 위반하고 있다는 시민단체의 고발이 있었고, 아일랜드 데이터 보호 위원회(Data Protection Committee, DPC)는 공개된 데이터의 학습을 연기하라고 요구했죠. 이 때도 이용자가 거부의사를 밝혀야만 개인정보 수집이 중단되도록 설계해둔 사실이 문제가 되었습니다. 저작권법은 오랜 법정 싸움을 통해 ‘기계의 읽기(복사)’는 저작권 침해로 보지 아니하는 법리를 마련해 왔습니다. 변형적 이용(transformative use), 의지적 행위(volitional conduct), 자동화된 처리에 대한 ISP 면책 등이 그것이죠. 기계의 읽기는 혁신을 위해 필요한 것으로서 장려되었습니다. 디지털 시대 저작권법의 인센티브 구조는 인간의 모든 커뮤니케이션을 기계가 읽어들일 수 있는 상태를 ‘디폴트’로 만들었습니다. 인간이 만들어낸 정보가 새로운 기술 개발에 공히 활용될 수 있어야 한다는 생각은 일견 타당해 보입니다. 하지만 정보의 바다라는 공유지는 기술 자원을 집중적으로 소유할 수 있는 기업에 의해 가장 적극적으로 활용되고 있습니다. 기계의 읽기는 어디까지 허용되어야 할까요. 지금의 옵트아웃 정책이 옵트인(opt-in)으로 바뀐다면, 그것으로 괜찮은 걸까요? 💬 댓글- 🧙텍스: 저작권법과 개인정보보호법 모두 개인보다는 기업에게 유리한 방향으로 결정되고 있는데, 이것이 사회에 가져다 주는 혜택이 무언지부터 논의하는 게 우선이 아닐까라는 생각이 듭니다.- 🎶소소: 메타는 EU에서의 라마3 배포 및 사용을 금지했습니다. 애플 EU 국가 내 역시 주요 AI기능 출시를 보류했습니다. 국가가 요구하는 AI 안전 규제에 맞춰 기업이 정책을 수정하는 것이 아니라, 해당 국가에는 AI기술을 제공하지 않겠다는 전략을 보며 더 이상 규제가 기업에 통하지 않는 것은 아닌지 두려움도 듭니다. 🦜더 읽어보기- 어도비 이용약관 개정 소동의 시사점(2024-06-17)- 당신의 동의를 구하지는 않았지만, 퍼가요~ (2024-06-10)- 데이터, 어떻게 팔아야 잘 판 걸까? ...팔아야 하는 걸까? (2024-03-25)- AI 학습용 데이터 팝니다 (2024-03-04)- 이용자 몰래 데이터를 활용하고 싶은 기업들 (2023-08-23) #feedback 오늘 이야기 어떠셨나요?여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.

이제 ChatGPT, Midjourney와 같은 생성형 AI는 많은 사람들이 일할 때 활용하는 유용하고 중요한 도구가 됐습니다. 저 역시 웹 데이터 수집 및 정리, 사회과학 연구를 위한 자료 조사 등 여러 업무에서 생성형AI를 활용하고 있는데요. 앞으로 여러 차례에 걸쳐 생성형AI를 사용한 경험과 잘 쓰는 방법에 대해 공유하고자 합니다. 생성형 AI도 사람이야 사람! 생성형 AI 잘 쓰는 법을 이야기하는데 왜 갑자기 ‘생성형 AI도 사람이야’라는 이야기가 나오는지 의아해하신 분들이 많을 겁니다. 하지만, 이 문장은 생성형 AI의 작동 원리부터 시작해서 잘 활용할 수 있는 방법까지 전부 한 줄로 요약한, 아주 중요한 문장입니다. 생성형 AI의 작동 원리는 무엇일까요? 생성형 AI는 기존 대규모 데이터를 학습하여 텍스트, 이미지, 오디오, 비디오 등을 확률적으로 생성합니다(Perplexity AI). 여기서 중요한 점은 기존에 학습한 데이터의 출처가 인터넷이고, 인터넷에 있는 데이터는 사람이 지금까지 축적해 왔다는 겁니다. 우리가 생성형 AI에게 소설을 써달라고 하거나, 요리 레시피를 물어보거나, 여행 정보를 알려달라고 하거나, 특정 코드를 짜달라고 할 때 생성형 AI가 참고하는 데이터는 이전에 다른 사람들이 인터넷에 쌓아 둔 데이터입니다.  생성형 AI 잘 쓰기 = 다른 사람과 함께 일 잘하기 사람의 데이터를 기반으로 결과물을 생성하는 AI에게 작업을 맡긴다는 건, 사람과 함께 일하는 것과 비슷합니다. 즉, 생성형 AI를 잘 쓰는 방법은 다른 사람들과 일을 잘하는 방법과 같습니다. 이후 ‘생성형 AI, 잘 쓰는 법’ 연재에서 하나씩 풀어 낼 프롬프트(질문)과 구체적 활용 사례들도 결과적으로 유능한 직원, 유능한 동료와의 협업 사례로 바꿔서 봐도 어색하지 않을 겁니다. 다른 사람과 같이 일을 잘 하는 사람은 어떤 사람일까요? 우선, ‘본인의 일을 잘 아는 사람’입니다. 생성형AI가 발전해 감에 따라, 점점 스스로 할 수 있는 일은 많아지고, 그 수준도 더 높아질 겁니다. 하지만 생성형 AI가 아무리 발전해도 사용자가 입력한 값(prompt)에 따라 결과물을 ‘생성’한다는 점은 변하지 않습니다. 즉, 생성형 AI를 활용하여 일을 잘하려면 우선 사용자가 생성형AI를 통해 얻길 원하는 결과물 자체가 구체적이어야 합니다. 내가 이걸 왜 생성해야 하는지, 생성한 결과물을 누구에게 보여줄 것인지 등이 명확해야 합니다. 이해를 돕기 위해 기존에 우리에게 익숙한 상황을 예시로 들어보겠습니다. 손님을 불러 파티에 내놓을 삼겹살 요리 레시피를 ChatGPT에게 물어봤습니다. 첫 번째 대답은 ‘맛있는 삼겹살 요리 레시피를 알려줘’라고 질문하여 생성했고, 두 번째 대답은 ‘삼겹살 요리 레시피를 알려줘. 에어프라이어를 활용하여, 손님맞이용으로 고급스럽게 요리를 내고 싶고, 저온에서 천천히 오래 조리해서 육질을 부드럽게 하는 방식의 요리였으면 좋겠어.’라고 질문하여 생성했습니다. 물론 삼겹살을 구워서 쌈장 소스에 찍어 먹어도 맛있겠지만, 에어프라이어에 고급스럽게 구워 허브와 함께 담아내는 게 파티에 내놓기에는 더 적절해 보입니다. 누구에게 내놓을 요리인지, 어떻게 조리하면 좋겠는지에 따라 대답이 크게 바뀌는 걸 쉽게 관찰할 수 있습니다.  또한, 생성형AI에게 입력할 프롬프트는 사람이 보고 따라 하기 쉬울수록 결과물이 좋습니다. 프롬프트 기법의 기초로 여러 논문에서 다뤄지고 있는 ‘단계별로 생각하게 하기(Chain of Thought)’, 예시 제시하기 등은 생각해보면 사람이 평소에 잘 일하기 위한 방법과도 같습니다. 우리가 PPT를 만들 때 이전 양식을 참고하는 것, 일할 때 회의하고 자료를 찾고 자료를 토대로 보고서를 작성하는 단계를 거치는 과정 등을 생성형AI에게 잘 질문하는 것이 프롬프트 엔지니어링의 기초 중 하나입니다.   고마워 AI, 마무리는 내가 할게. 마지막으로, 생성형 AI가 모든 일을 다 해줄 것이라는 기대를 버려야 합니다. 저 역시 자주 하는 실수 중 하나로, 가끔 생성형AI를 사용하여 일하는 사람들은 생성형AI로 완성된 결과물을 내려고 하다가 과하게 시간을 많이 허비하곤 합니다. 생성형AI로 완벽한 결과물을 내려고 강박을 갖게 되면 때로는 생성형AI를 쓰지 않는 것보다 원하는 결과물을 얻는 데 더 많은 시간이 들 수도 있습니다. 생성형AI는 능력 있는 동료지만, 어느 정도 만족스러운 결과가 나왔다면 그것을 자신의 것으로 만들고 마무리하는 것은 여러분 자신이라는 걸 알았으면 합니다. 생성형 AI로 원하는 결과물의 50~80% 수준까지 만들고, 완성은 사람이 직접 하는 게 시간이나 완성도를 더 높일 수 있는 방법입니다. 생성형 AI로 만든 컨텐츠를 사람의 손을 거쳐 완성도를 높인 사례 두 가지를 보여드리겠습니다. 첫 번째는 AI로 글을 작성한 후, 일부 문장을 제거하거나 추가하여 글을 마무리한 경우입니다. ‘사람과 인공지능의 교감, 사람과 사람의 교감만큼 깊을 수 있을까?’라는 제목으로 쓰인 이 글은 ChatGPT의 글쓰기 GPTs인 ‘Write For Me’를 활용해 글을 작성한 다음, 전체 문장의 20% 이내로 문장을 제거하거나 추가하여 완성했습니다. AI가 쓴 글에서 어색한 문장이나 조금 더 설명이 필요한 부분만 조금 건드리기만 했더니 훨씬 더 좋은 글을 완성할 수 있었습니다. 그다음으로 공유해 드릴 사례는 2024년 4월 11일 자 Tech잇슈 뉴스레터 ‘🦖 유튜브는 디지털 생태계를 찢어’에 삽입된 이미지 제작 과정입니다. 유튜브가 OTT, SNS등을 위협하고 있다는 내용의 칼럼에 삽입할 이미지를 만들기 위해 Tech잇슈는 ChatGPT의 이미지 생성 기능을 활용했습니다.  ‘거대한 공룡이 4개의 동네를 무참히 밟고 지나가는 모습을 귀엽게 그려줘. 가로로 긴 형태로 그려줘’, ‘지금 딱 좋은데, 폐허가 된 건물에 Netflix, NAVER, KAKAOTALK, Instagram의 간판을 그려 넣어줘’ 라는 프롬프트들을 통해 위의 이미지를 생성하고, 편집자의 손을 거쳐 아래 이미지로 완성한 것이죠. 생성형AI의 작업 결과물의 퀄리티가 아쉽다면, 사용하려는 목적에 따라 인간이 직접 마무리하여 편집하면 훨씬 더 좋은 이미지를 생성할 수 있다는 걸 알 수 있는 사례였습니다.   생성형 AI, 잘 쓰는 법(2)에서는 프롬프트 엔지니어링, 비개발자의 개발 용역 후기, 데이터 분석하기 등의 주제 중 하나를 다룰 예정인데요. 이 내용 중에서, 혹은 쓰여 있지 않더라도 관심 있는 생성형 AI 관련 컨텐츠가 있으시다면 아래 ‘평가하러 가기’에 남겨주세요. 최대한 반영하여 연재해 보겠습니다. 읽어주셔서 감사합니다! *본 컨텐츠는 글 작성자가 고정 필진으로 활동하고 있는 '테크잇슈' 뉴스레터에 먼저 실렸습니다.

구글이 담는 소수 언어 지난달 24일, 구글 번역기에 새로운 언어 110개 추가됐다. 이로써 구글 번역기에 담긴 언어는 250종이 됐다. 추가된 언어는 중국 광동어, 파기스탄의 펀자브어, 켈트어의 일종인 맨어, 아프리카와 인도의 소수언어다. 아프리카 언어는 폰(Fon)어, 키콩고(Kikongo)어, 루어(Luo)어, 가(Ga)어, 스와티(Swati)어, 벤다(Venda)어, 우오로프(Wolof)어가 추가됐고, 인도 언어는 아와디(Awadhi)어, 보도(Bodo)어, 카시(Khasi)어, 콕보록(Kokborok)어, 마르와디(Marwadi)어, 산탈리(Santali)어, 툴루(Tulu)어가 추가됐다. 구글은 이번 업데이트로 “6억 1,400만 명과 추가 소통할 수 있게 됐다.”고 설명했다. 이는 전 세계 인구 8%에 해당하는 수치다. 정말 반가운 소식이다. 들리지 않겠지만, 구글 직원들에게 있는 힘껏 박수를 보낸다. 혹자는 인구에서 차지하는 비중도 적고, 읽지도, 쓰지도, 이해하지도 못할 언어가 추가된 게, 왜 반가운지 의아할 것이다. 부디 이번 글이 의아해 하는 분들에게 소수 언어를 다시 보는 계기가 됐으면 좋겠다. 우리는 소수 언어에 관심 갖고 지켜야 한다. 소수가 아니라, 다수를 위해서다. 조지 오웰의 『1984』 조지 오웰의 책 『1984』는 전체주의 디스토피아 소설이다. 책에는 오세아니아, 유라시아, 동아시아 세 개 대륙이 나오고, 유라시아와 오세아니아는 전쟁 중인 것으로 묘사된다. 실제 전쟁 중인지 아닌지는 그 누구도 알지 못한다. 책의 주인공 ‘윈스턴 스미스’는 유라시아의 외부 당원(하급 당원)이다. 유라시아는 계급사회로 최상위에 빅브라더, 그 밑에 내부 당원(고급 당원), 그 밑에 외부 당원(하급 당원), 마지막으로 노동자(프롤레타리아)가 있다. 외부 당원은 상위 13%가 속하고, 내부 당원은 상위 2%가 속해있다. 내・외부 당원은 ‘텔레스크린'으로 항상 감시 당한다. 반면, 노동자들은 감시받지 않는다. 이유는 노동자들이 가벼운 영향만 줘도 조종되기 때문이다.1) 때문에 아이러니하게도 『1984』에선 동물과 노동자가 가장 자유롭다. 윈스턴은 텔레스크린의 감시 아래 기록을 삭제하고 조작한다. 조작 이전 기록은 불구덩이로 보내져 태워진다. 때문에 『1984』의 세계관에서 온전한 기록과 역사란 존재하지 않는다. 조작된 기록이 있을 뿐이다. 여기서 끝이 아니다. 그들은 단어까지 조작하고 없애버린다. 신어(newspeak), 언어의 축소 윈스턴이 속한 당과 그의 동지들은 ‘신어(newspeak)’를 만든다. 이는 기존 단어들을 대체하는 새로운 단어이며, 다수 의미를 포괄한다. 예를 들면 이렇다. ‘안 좋다(ungood)’는 신어는 ‘나쁘다(bad), 빈약한(poor), 형편없는(terrible)’을 포괄한다. 그리고 ‘나쁘다, 빈약한, 형편없는’은 모두 ‘안 좋다'로 만 사용된다. 그리고 기존에 ‘나쁘다, 빈약한, 형편없는’ 적힌 기록은 모두 ‘안 좋다'로 조작되고 사라진다. 윈스턴의 일이다. 이런 조작으로 대체된 ‘나쁘다, 빈약한, 형편없는’ 세 단어는 마치 그것이 없었던 것처럼 여겨져 소멸한다. 시간이 지나면 그 누구도 그 단어가 존재했었는지, 어떤 의미인지 알 수 없게 된다. 설령 사라진 언어를 기억하는 사람들이 있다고 하더라도, 모든 기록은 이미 조작됐기에 그 어느 곳에서도 사라진 단어를 찾아볼 수 없다. 그 누구도 과거의 기록을 증명할 수 없다. "자신의 기억 외에는 아무런 기록이 없는데, 가장 명백한 사실일지라도 그것을 어떻게 증명할 수 있단 말인가?"1) 이러한 신어의 제작과 기록의 조작에 대해 윈스턴은 깊은 의문을 갖는다. 윈스턴이 이러한 의문을 내비쳤을 때, 같은 하급 당원 동지는 이렇게 답한다. "자네는 신어를 만든 목적이 사고의 폭을 좁히는 데 있다는 걸 모르나? 결국 우리는 사상 죄를 범하는 것도 철저히 불가능하게 만들 걸세. 그건 사상에 관련된 말 자체를 없애버리면 되니까 간단하네. 앞으로 필요한 모든 개념은 정확히 한 낱말로 표현될 것이고, 그 뜻은 엄격하게 제한되며 다른 보조적인 뜻은 제거되어 잊히게 될 걸세.”1) 언어의 한계는, 사고의 한계다 오스트리아의 철학자 ‘루트비히 비트겐슈타인'은 “언어의 한계는, 사고의 한계다.”라고 말했다. 사고는 표현의 범위를 벗어날 수 없으며, 표현은 언어와 지식의 범위를 벗어날 수 없다. 『1984』의 신어가 사고의 범위를 좁힐 수 있던 이유는 이와 다르지 않다. 언어의 다양성과 풍부한 표현은 우리가 세상을 얼마나 다양하고 깊이 있게 이해하고 있는지 보여준다. 위 사진은 생물 다양성과 언어의 다양성을 함께 보여준다. 생물 다양성이 풍부할 수록, 언어 역시 다양하다. 당연하다. 종의 수가 많으면, 이를 표현하는 가짓 수도 다양할 수밖에 없다. 얼마나 다양한 종이 있는지 모르면, 우리는 그저 몇 가지 단어로만 생태계를 정의하고 부르게 된다. 마치 3만 종이 잡초를 구분할 줄 몰라, 그저 잡초라고 부르는 것과 같다. 그런 차원에서 세상을 가장 풍부하고 깊이 이해하고 있는 언어는 영어도, 중국어도, 스페인어도, 프랑스어도, 독일어도, 한국어도, 일본어도 아닌 이름조차 들어본 적 없는 소수 언어다. 현재 그 언어들은 기록되지도, 구전되지도 않은 채 40일에 하나씩 사라지고 있다. 생태계를 가장 잘 이해하는 소수 언어 굼벵이 같은 사람이라고 하면, 사람들은 느리고 굼뜬 사람을 떠올린다. 굼벵이를 몰라도, 굼벵이 같은 사람을 보면 굼벵이의 특징을 짐작할 수 있다. 이처럼 언어는 사물과 세상을 이해하게 해준다. 생물 다양성이 풍부한 지역의 언어들은 생태계 이해에 더욱 유용하다. “타히티 사람들은 침착하지 못한 사람을 가리켜 투나하바로(tunahaavaro, 뱀장어의 한 종류)라고 부르며, 찾기 어려운 사람은 오후아(ohua, 바위 밑에 숨는 물고기)라고 한다.”2) 팔라우의 어부는 3백 개 이상의 어종을 구분하고, 각 종의 음력 산란주기를 안다. 북극의 이누이트족은 사람과 개, 카약의 무게를 견딜 수 있는 눈과 얼음을 구분하는 용어를 갖고 있다.2) 육지도 마찬가지다. 필리핀 하우누족은 450종 이상의 동물과 1,500 종의 식물을 구분한다. 하우누 농부는 10종의 기본 토질과 30종의 아종 토질을 구분하고, 토양의 굳은 정도에 따라 네 가지 다른 용어를 쓰며, 서로 다른 토질을 구분하는 9가지 색깔 표현이 있다. 그들은 땅의 지형을 5가지로 분류하고, 땅의 경사 정도를 3가지 다른 방식으로 나타낸다.2) 아메리카 원주민 언어인 미크맥어는 가을에 나무 사이로 불어오는 바람 소리로 나무들의 이름을 붙인다. 그 지역에서는 바람이 대개 일몰 한 시간 정도쯤 후에 일정한 방향에서 불어오는데, 그때의 소리를 듣는 것이다. 더욱이 이러한 이름들은 고정된 것이 아니라, 소리의 변화에 따라 변한다.2) 생태계 보존에 관심이 있든 없든, 이런 분류가 얼마나 가치 있고, 얼마나 깊이 생태계를 이해해야 쓸 수 있는지 알 수 있다. 나를 포함해 마트에서 통조림이나 사 먹고, 브랜드 따위만 구분할 줄 아는 사람들은 절대 알 수 없는 지식이다. 생물 다양성이 가장 시급하다 스톡홀름 지구 복원력 센터의 요한 록스트룀은 지구 위험 한계선 9가지를 제시했다. <기후 변화, 생물 다양성, 담수 사용, 토지 시스템의 변화, 성층권의 오존층 파괴, 해양 산성화, 생지화학적 유량(인과 질소 순환), 대기권의 에어로졸 부하, 진기한 물질>이 그것이다. 지구복원력센터는 이 9가지 시스템을 계속 추적하고 있다. 2009년, 2015년, 2023년 세 차례에 걸쳐 추적했다. 안타깝게도 이미 9가지 중 6가지가 지구 한계 범위를 넘어섰다. 이중 가장 시급하게 다뤄야 할 문제는 ‘생물 다양성'이다. 요한 록스트룀은 “무엇보다 생물 다양성의 손실을 추적하는 것이 가장 우선시 되어야 한다. 생물 다양성이 생태계 복원력에 결정적 역할을 하기 때문이다. 세상에 얼마나 많은 종들이 존재하는지에 관한 우리의 지식은 정말이지 불충분하다. 우리는 무엇을 잃어가는지조차 모른 채 빠른 속도로 생물 다양성을 잃어가고 있다.”3)고 경고한다. 소수 언어는 생물 다양성을 이해시켜 줄 것 요한 록스트룀이 생물 다양성이 가장 시급한 문제라고 한 이유는, 그들의 역할을 분명하게 알아야 우리가 직면한 환경 문제를 해결할 수 있기 때문이다. 하지만 현대는 생태계에 어떤 종들이 있는지, 어떤 역할을 하는지 전혀 알지 못한다. 이를 이해하고 있고 표현하고 있는 건, 생태계와 밀접히 교류한 소수 언어들이다. 소수 언어가 없다면, 우리는 세계를 이해할 수 없다. 생물 다양성이 풍부한 지역에서, 가장 오래도록 생태계와 교류해 온 소수 민족의 언어에는 우리가 알지 못하는 생태계에 대한 지식과 지혜가 풍부하게 담겨 있다. 그들의 언어를 보존하는 건, 생태계와 생물 다양성을 알려줄 백과사전을 그대로 보전하는 것과 같다. 아무짝에도 쓸모없다고 생각한 이름 모를 소수 민족의 언어는, 우리가 절대로 잃어버려선 안 되는 중요한 자원이다. 그런 차원에서 구글 번역기의 소수 언어 추가는 환영할 만한 일이다. 물론 100% 완벽하다고 할 수는 없겠지만, 시도 자체가 유의미하고 소중하다. 실패한 『1984』 속 윈스턴의 저항과 양갈래 길 마지막이다. 윈스턴은 텔레스크린의 감시를 피해 자신만의 저항으로 ‘일기'를 쓴다. 그가 일기를 쓰는 이유는 “후세에 몇 마디의 기록이라도 남기게 된다면, 우리가 떠난 뒤에라도 그다음 세대가 뭔가를 수행할 수 있을 거야.”1)라는 생각 때문이다. 그의 저항은 실패했다. 그의 저항과 일탈은 감시를 벗어나지 못했고, 마지막 순간 빅브라더의 초상을 향해 눈물 흘리며 “나는 빅브라더를 사랑한다.”고 고백하며 끝이 났다. 다행히 우리는 유라시아, 오세아니아, 동아시아 세 개 대륙으로만 구분된 세상에 살고 있지도 않고, 세 개 대륙에서 세 개 언어만 사용하며 살고 있지도 않다. 우리에겐 소수의 언어를 보존하고, 후대에 남기고 전해줄 수 있는 AI 기술이 있다. 다만 양 갈림길이 있을 뿐이다. 소수 언어를 빠르게 사라지게하는 길과, 사멸 위기의 소수 언어를 보존하는 길이다. 양 갈래 길에서 어떻게 기술을 활용할지는 기술을 사용하는 인간의 손에 달렸다. 나는 당연히, 환경 문제를 더욱 깊이 이해하고, 우리가 직면한 문제를 해결해 주는 소수 언어 보존의 길을 가야 한다고 생각한다. 1984의 디스토피아가 현실이 되지 않았듯, 윈스턴의 실패도 현실에서 벌어지지 않길 바라본다. ※참고 자료※ 1) 『1984』 (조지 오웰/ 민음사/ 2016) p.76, 221, 290 2) 『사라져 가는 목소리들』 (다니엘 네틀・수잔 로메인/ 이제이북스/ 2003) p.38, 103, 279 3) 『지구 한계의 경계에서』 (요한 록스트룀 등/ 에코리브르/ 2017) p.214

창작자와 환경 모두를 위한 개방형 AI by 🧙‍♂️텍스 생성형 AI 구축에 필요한 큰 비용은 오픈AI를 폐쇄적으로 변하게 했습니다. 오픈AI는 GPT-2 발표 당시 논문과 모델을 모두 공개했고, 이는 여전히 오픈소스로 이용 가능합니다. GPT-3 역시 논문만큼은 공개했습니다. 하지만, 챗GPT 서비스가 발표된 이후부터는 그 모습이 다릅니다. 공개된 GPT-4 테크니컬 리포트에는 모델과 데이터에 대한 디테일이 사라졌습니다. 그리고 GPT-4o에 이르러서는 모델에 관해 공개된 내용이 없습니다. 다른 회사들이 챗GPT를 빠르게 추격하는 상황에서 큰 비용을 들여 얻은 시행착오를 공개하기는 어렵습니다. 오픈AI가 창작자의 이익보다 공정이용(fair use)을 주장하는 것은 지출을 줄이기 위한 의도 또한 있을 것입니다. 생성형 AI는 공개된 콘텐츠를 자유롭게 학습 데이터로 활용하지만, 기존의 검색엔진과 다르게 원본 출처로 연결하지 않습니다. 그렇다 보니 대규모 데이터를 보유한 신문사나 커뮤니티를 보유한 기업들은 AI 플랫폼 기업의 데이터 수집을 막고 학습 데이터 판매 협상 우위를 점하기 위해 장벽을 쌓고 있습니다. 인터넷의 포스팅 및 기사는 로그인해야만 볼 수 있고 추가로 결제 장벽(Paywall) 또한 빈번해지고 있습니다. 기업과 다르게 협상력이 없는 개별 창작자는 창작물에 대한 권리를 침해당한다고 느끼고 이러한 변화를 거부로 응답했습니다. 한국에서는 네이버웹툰 도전 만화에서 AI 웹툰 보이콧이 있었으며, DeviantArt와 같은 주요 글로벌 창작자 커뮤니티들에서 No AI 태그 시스템에 도입하였습니다. 그 결과 점차 인터넷 공간은 폐쇄적으로 변해 갑니다. 생성형 AI를 구축하기 위한 레이스는 일종의 죄수의 딜레마로 보입니다. 챗GPT를 만들고 싶은 경쟁자들은 오픈AI가 수행했던 학습 데이터 수집과 AI 학습의 모든 과정을 경쟁적으로 반복해야 합니다. 이러한 과정을 모든 AI 플랫폼 기업들이 따라 하다 보니 엔비디아 GPU가 불티난 듯 팔리고, AI 학습을 위해서 발전소를 추가로 지어야 하고, 데이터 센터의 높은 에너지 소비로 인한 기후 위기 가속화까지 예상이 됩니다. 어찌 보면 오픈AI가 여전히 비영리 기업으로 남아서 모델을 공개했다면 이러한 일이 일어나지 않았을 수도 있습니다. 데이터셋의 구성 및 학습된 모델이 모두 공개되어 있으면 모든 회사가 경쟁적으로 LLM 학습을 수행할 필요가 없습니다. 오픈AI가 공개한 모델을 필요에 맞게 수정하고 미세조정하는 것은 전체 학습에 비해 매우 적은 비용이 들기 때문입니다. 현 상황에서 죄수의 딜레마를 피하기 위해서는 기업들의 협력을 통하여 하나의 좋은 모델을 만들도록 유도할 수 있습니다. 가령 어떤 국가의 정부가 해당 국가의 문화, 가치관 등이 담긴 소버린(sovereign) AI를 구축하길 원한다면, 정부는 개별 회사들의 AI 모델 구축을 위한 경쟁을 지켜보기보다는 하나의 거대한 AI 모델을 구축하도록 관련 기업 간의 협력을 유도해야 합니다. AI 모델의 규모가 커질수록 성능이 좋아진다는 신경망 스케일 법칙(neural scaling law)을 고려하면, 개별 기업의 중복 투자를 협력으로 전환하면 같은 비용으로 더 큰 모델을 학습할 수 있습니다. 개별 기업에서는 적은 비용으로 더 좋은 성능을 갖춘 생성형 AI를 구축할 수 있고, 국가 차원에서는 전력 인프라 투자의 비용도 절감할 수 있기 때문입니다. 근본적으로 인터넷 공간이 폐쇄적으로 변해가는 것을 막고 죄수의 딜레마에서 벗어나기 위해서는 개방형 AI 모델이 다른 폐쇄형 AI 모델보다 비용이나 성능 측면에서 우위에 있는 환경을 조성해야 합니다. 현재의 월드와이드웹(WWW, world wide web)이 인터넷의 대명사가 된 것처럼 말이죠. AI 모델이 학습 데이터의 품질에 종속적이라는 사실을 생각해 보면, 이를 위해서는 1) 창착자들의 참여를 끌어내서 개방된 데이터의 규모와 품질을 최대한 끌어내고 2) 공개된 데이터에 무임승차 하는 플레이어가 없도록 해야 합니다. 우선 콘텐츠의 저작권 및 라이선스 제도를 AI 시대에 맞게 업데이트하여 생성형 AI 시대에 약해진 창작자의 권리를 보완하고 참여를 끌어내야 합니다. 또한 무임승차를 막고 창작자의 권리 강화를 위해서 이상적으로는 명확한 출처를 밝히지 않은 데이터로 AI 모델 학습이 불가능하게 만드는 것도 고려해 볼 수 있습니다. 현재 메타와 오픈AI 모두 학습 데이터를 임의로 구축하여 학습에 사용하고 옵트아웃을 데이터 거버넌스로 하여 사용자가 제외를 요청할 때만 학습 데이터에서 제외해 줍니다. 이 모습은 공정이용보다는 무임승차에 가까운 것 같습니다. 유튜브는 광고 수익 분배를 발판 삼아 양과 질 측면에서 모두 독보적인 동영상 플랫폼으로 자리를 잡았습니다. 창작자에게 유리한 데이터 거버넌스가 확립되고 개방형 생태계가 독보적인 학습 데이터를 얻을 수 있는 곳이 되면, 플레이어들은 그곳의 룰을 따를 수밖에 없을 것입니다. 즉, 기업들은 다시금 개방형 AI를 선택해야 하는 환경에 놓이게 될 것입니다. 🦜더 읽어보기- 생성형 AI 가성비를 의심하는 골드만삭스/깃허브 코파일럿 소송에서 저작권법 쟁점 기각 (2024-07-21)- 원전으로 AI 전력 수급한다는 한국 정부 (2024-06-17)- 이 주의 논쟁 카드: 라마(LLaMA) 2 (2023-07-24)- [함께 읽는 FAccT 3]윤리, 법, 기술! 세 가지 힘을 하나로 모으면🌐🎵 (2023-06-19)- AI 웹툰 보이콧, 누구를 위한 AI인가 (2023-06-05) #feedback 오늘 이야기 어떠셨나요?여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.

AI 윤리 뉴스 브리프 2024년 7월 넷째 주by 🤖아침 1. 생성형 AI 가성비를 의심하는 골드만삭스 지난달 골드만삭스에서 “생성형 AI: 지출은 너무 많고 혜택은 너무 적은가? (Gen AI: too much spend, too little benefit?)”라는 제목의 보고서를 내놓았습니다. 생성형 AI가 비용이 많이 들어가는 기술인 데 비해 수익이나 생산성 측면의 이득이 얼마나 될지 회의적이라는 내용입니다. 보고서에서 인터뷰한 대런 아세모글루(Daron Acemoglu)는 AI가 거시경제에 미칠 영향이 미미할 것이라고 전망합니다. 기술낙관론(기술 발전에 따른 비용 절감 및 성능 개선으로 생산성이 자연스레 높아질 것이라는 관점)에 대해서도 “’AI 성능이 두 배가 된다’는 게 무슨 뜻인가? … 격식 없는 대화에서 다음 단어를 예측하는 능력이 GPT 다음 버전에서 향상될 수는 있겠지만, 그렇다고 상담원이 고객의 문제를 해결하는 능력이 꼭 개선되는 건 아니다“라며 의문을 제기합니다. 골드만삭스 연구총괄 짐 코벨로(Jim Covello)는 “오늘날 AI를 초기 인터넷과 비교하는 사람들이 많지만, 인터넷은 초창기에도 저비용 기술이었다”라며, 향후 몇 년 사이 인프라 비용으로만 1조 달러가 투입될 것으로 예측되는 생성형 AI의 투자 대비 수익률에 회의적인 시선을 보냅니다. 투자를 합리화하려면 AI로 복잡한 문제를 해결할 수 있어야 하는데, 현재 AI는 복잡한 문제를 해결하도록 설계된 기술이 아니라는 것입니다. 맥킨지에서 생성형 AI의 부가가치가 4조 달러에 달할 것이라는 희망찬 보고서를 발표한 것이 불과 1년 전인데요. 금융 분야의 큰손이자 불과 두 달 전만 해도 AI의 경제적 효과를 낙관하던 골드만삭스에서 비교적 부정적인 전망을 내놓은 데서, AI를 둘러싼 거품이 조금씩 꺼지는 분위기를 읽을 수 있습니다. 2. 깃허브 코파일럿 소송에서 저작권법 쟁점 기각 생성형 AI 관련 주요 법적 쟁점 하나는 저작권이죠. 그 중에서도 이목을 끄는 사건으로 깃허브 코파일럿(GitHub Copilot) 관련 소송이 있습니다. 코딩 보조 툴 코파일럿을 제작하는 과정에서 개발자들의 코드를 활용한 것이 불법이라는 취지로, 오픈소스 개발자들이 깃허브, 마이크로소프트, 오픈에이아이 세 기업을 상대로 2022년 미국에서 제기한 소송입니다. 최근 소송을 건 개발자들에게 불리한 판결이 나왔습니다. 코파일럿에서 추천하는 코드가 원본 코드와 동일하지 않다고 보아 미국 저작권법(DMCA) 관련 쟁점을 전부 기각한 것입니다. 다만 코파일럿 측의 행위가 (오픈소스 코드를 재사용할 때 명시해야 하는) 원저작자·저작권 고지·라이선스 등을 생략하거나 오도하여 오픈소스 라이선스에 저촉되며, 깃허브 개인정보 처리방침 및 이용약관을 위반했다는 쟁점 두 가지는 아직 열려 있습니다. 아직 법적 회색 지대인 생성형 AI 저작권 이슈에서 코파일럿 소송은 상징적 판례가 될 수 있습니다. 물론 이후에도 분쟁은 생길 것이고, 국가별 저작권법에 따라, 분쟁이 발생한 분야에 따라 그 양상은 조금씩 다르겠지요. 이 소송의 향방도 중요하지만, 일련의 저작권 분쟁에서 드러나는 큰 그림 또한 놓치지 않아야 하겠습니다. 기존에 공개·공공적으로 존재하던 데이터를 포획해서 특정 기업의 것으로 사유화하는 AI 산업의 속성 말입니다. 3. 국민의힘 인공지능법안에 관한 시민사회의 우려 한국에는 아직 인공지능 기술에 관련된 체계적 법이 없습니다. 현 정부에서 입법을 추진했지만 지난 21대 국회에서는 통과되지 않았는데요. 22대 국회가 시작한 지 두 달 사이 6개 AI 법안이 발의되는 등 입법 논의에 속도가 붙고 있습니다. 한편 시민사회에서는 현재 추진 중인 법안, 특히 국민의힘 소속 의원 전원이 이름을 올린 정점식 의원 발의안이 인공지능의 위험을 줄이고 예방하는 일에 소홀하다고 우려합니다. 산업 진흥에만 초점을 맞추며, 위험성을 통제하고 피해에 대한 책임을 명확히 하는 문제는 마치 산업 발전의 발목을 잡는 것처럼 외면하고 있다는 것입니다. 최근 14개 시민단체가 공동으로 발표한 의견서는 EU 인공지능법 및 미국 AI 행정명령 등을 참고하여 앞선 여당 발의안을 비판적으로 검토하고 있습니다. 주요 쟁점은 안전과 인권 규제의 부재, 고위험 인공지능 규제의 부재, 범용 인공지능 관련 내용 부재, 금지/처벌 조항 부재, 그리고 과학기술정보통신부 및 대통령 산하 국가인공지능위원회에 지나치게 집중된 거버넌스 구조 등입니다. 인공지능법에 어떤 내용이 담겨 통과되는지에 따라 향후 AI 산업뿐만 아니라, 우리 모두의 삶과 AI 기술이 맺는 관계의 양상이 달라지게 됩니다. 더 많은 이들이 시민으로서 관심을 갖고 해당 논의에 참여해야 할 이유입니다. 입법 과정에서 국회 및 시민단체가 진행하는 각종 토론회 및 공청회에서 구체적으로 어떤 이야기가 오가는지 직접 확인하는 것도 하나의 방법입니다. 🦜더 읽어보기 [요약] 한국 AI 규제 총정리 (🦜AI 윤리 레터, 2023-11-13) 4. 인권위의 인공지능 인권영향평가 도구 국가인권위원회에서 “인공지능 인권영향평가 도구”를 만들었습니다. AI 시스템을 개발 및 활용할 때 사람들에게 미칠 수 있는 부정적 영향을 점검하고 예방하기 위해 사용 가능한 체크리스트입니다. 아직 AI 관련 법규제가 없는 상황이지만, 각 영역에서 AI 기술을 도입하려는 움직임은 활발합니다. 이런 상황에서 공공기관이나 고위험 AI를 도입하는 민간 주체가 기술 위험을 완화하기 위해 자율적으로 사용하도록 위 도구를 제안한 것입니다. 산업 촉진 일변도인 행정부 방향성과 비교해, 인권위는 2022년 AI 인권 가이드라인을 마련해 제시하는 등 균형잡힌 접근을 강조해왔습니다. 이와 같은 접근이 실제 정책으로도 반영될 수 있기를 기대해봅니다.

제가 활동하고 있는 캠페인즈에서는 '뉴스'탭에서 서로 뉴스를 공유하고, 읽고, 의견을 나눌 수 있습니다. 평소 인터넷 뉴스 덧글의 흉포함에 지친 분들이 안전하게 자신의 의견을 나눌 수 있는 곳이며, 뿐만 아니라 각자 다른 사람에게 공유하고 싶은 뉴스를 가져오기 때문에 좋은 뉴스가 정말 많이 올라옵니다. 저 역시 가끔 캠페인즈에 들어와 뉴스를 보고, 직접 뉴스도 공유하는데요. 그렇게 뉴스를 캠페인즈에 업로드하던 어느 날, 이런 생각이 들었습니다. '이전에 소개했던 Notion web clipper처럼, 캠페인즈 뉴스도 사람들이 쉽게 공유하면 더 많은 뉴스가 캠페인즈에 올라올 수 있지 않을까?' 이미 좋은 공간인데, 사람들이 너도나도 아무 뉴스나 보다가 딸깍 쉽게 공유하면 더 좋겠다는 생각이 들어, 개발자가 아님에도 직접 한 번 '캠페인즈 웹 스크래퍼'를 만들게 되었습니다. 활용하실 경우, 꼭 글을 끝까지 읽고 사용해주세요! 1. 무엇을 자동화할 수 있을지 먼저 고민하기 지금까지 캠페인즈 뉴스를 추가하려면, 1) 공유하고 싶은 뉴스를 발견 -> 2) 캠페인즈 내에 들어와서 -> 3) 뉴스 탭에 들어온 다음 -> '추가'버튼을 누르고 뜨는 팝업에서 -> 4) 이슈,토픽,URL,코멘트(선택)를 입력한 다음 -> 5) '뉴스 공유하기'버튼을 눌러야 했습니다. 이렇게 단계를 나누고 천천히 분석해보니, 제가 자동화 할 수 있다고 처음 판단한 영역은 다음과 같았습니다. -2)와 3)에 해당하는 과정 - '추가'버튼을 누르면 나오는 화면이 나오게 하기 -4)번 과정 중, 먼저 할 수 있는 자동으로 지금 보고 있는 뉴스 기사 링크를 URL칸에 들어가게 하기 2. 일단 AI에게 물어보기 이 개요를 토대로, ChatGPT4o로 코드를 짜기로 결심했습니다. ChatGPT에는 앱스토어와 같은 'GPTs(GPT 탐색)'이 가능했고, 그 중 크롬 확장 프로그램 제작을 도와주는 'Chrome Extension Full-Auto Coder' 라는 GPTs를 찾아서 제가 필요한 걸 찾아 정리해 넣었습니다. 그리고 따라서 하다 보니 크롬 확장 프로그램에 필요한 로고 파일이 있다는 것도 발견하고, 이것도 ChatGPT로 만들어서 파일로 준비해 두었습니다. 중간 과정은 생략했지만, 약 1시간에 걸쳐 크롬 확장 프로그램을 만들었고, 제 크롬과 웨일에서 사용 가능하게 업로드할 수 있었습니다. 하지만 많은 사람들과 이 기능을 쉽게 공유하려면, Chrome 웹 스토어에 등록해야 합니다. 이 역시 질문하고, 개인 정보 처리 방침 등은 전부 ChatGPT에게 물어보며, 개발자 등록과 크롬 확장 프로그램을 웹스토어 등록하는 것까지 마칠 수 있었습니다. 근데 이 과정을 많이 헤매서.. 여기에서만 2시간이 추가로 소요됐네요 ㅎㅎ.. 3. 아쉬운 점을 개선하면 완료! 사용해보니, 뉴스 공유를 완료하고 나서도 캠페인즈 뉴스 탭이 사라지지 않는 게 좀 불편하더라구요. 그래서 뉴스 공유하기를 누르고 나면 창이 자동으로 꺼지도록 하는 기능까지 GPTs에게 물어보고, 답을 받아 고쳤습니다..! 사용 장면을 간단히 보여드리며 사용 방법을 알려드릴게요. 천천히 따라하시면 어렵지 않을 거에요. chrome웹 스토어(크롬 / 웨일 / Edge 사용 가능)에 들어가서 '캠페인즈 웹 스크래퍼'를 검색하시거나, 이 링크를 눌러 페이지로 직접 들어가기 오른쪽 상단의 'Chrome에 추가하기'버튼 누르기 우측 상단 퍼즐 모양을 누른 다음, 확장 프로그램 옆에 핀셋 눌러 인터넷 창에 고정시키기 기본적으로 캠페인즈에 로그인이 되어 있을 때 사용이 가능하며, 이제 뉴스 페이지에서 해당 버튼을 누르시면, 팝업으로 캠페인즈 뉴스 추가 창이 뜨고, 동시에 자동으로 현재 보고 있는 뉴스 사이트의 링크가 URL칸에 입력됩니다. 나머지 내용을 채우고 '공유하기'를 누르시면, 자동으로 팝업이 닫힙니다. 더 많은 뉴스가 캠페인즈에 공유되어, 서로 더 좋은 정보를 공유할 수 있게 되어 더 좋은 사회가 만들어지길 바랍니다..! 많은 분들의 활용 부탁드립니다! 저 역시 이 확장프로그램을 개발하며 자신감도 얻고, 보람차기도 했던 좋은 경험을 할 수 있어 좋았습니다 ㅎㅎ 여러분들도 해보고 싶은 일이 있으면 언제든지 도전하세요! *필독 : '캠페인즈 웹 스크래퍼'는 캠페인즈의 공식 기능이 아닙니다. 따라서 얘기치 못한 버그가 발생할 수 있으며, 캠페인즈 웹 구조가 바뀔 시 작동하지 않을 수 있음을 알려드립니다(그렇다고 해킹이나 바이러스 같은 게 있지는 않습니다..그런 건 등록이 안됩니다). p.s. 모바일에서 활용하시려면 '키위 브라우저'라는 걸 찾아 설치하셔야 한다고 합니다..!

by 🤖아침 KrIGF에서 “생성형 인공지능과 딥페이크 기술” 세션을 참관하고 왔습니다. 이미지나 음성 등을 조작해 디지털 매체 속 인물을 다른 사람의 모습으로 바꾸는 일련의 기술을 통칭하는 딥페이크에 관한 패널 토론이었어요. 산업적 효과에 대한 기대감, 악용에 대처하기 위한 제도적/정책적 제안 같은 이야기가 오갔는데요. 세부적인 내용을 다루기보단, 이날 논의가 깔고 있던 기본 전제에 관한 제 의문을 얘기해 보려 합니다. KrIGF 웹사이트에 등재된 세션 소개글을 인용합니다. 딥페이크 기술은 보다 쉽고 간편하게 특수효과를 만들어 내거나 AR 영상을 제작하는 등 산업 전반의 성장 가능성을 키우는 등 긍정적으로 작용하고 있는 부분이 분명히 있다. 그러나, 인공지능기술이 빠르게 발전하면서, 인공지능을 활용한 비윤리적 이용 등 부정적 측면에 대한 우려의 목소리가 커지고 있다. 딥페이크(를 만드는 데 사용되는) 기술은 긍정적 작용을 하지만, (음란물 제작, 인격 사칭 등) 부작용 또한 생기고 있다는 것입니다. 따라서 기술적/산업적 발전을 저해하지 않도록 기술 규제는 최소화하되, 딥페이크를 활용한 범죄를 억제하기 위한 사법적, 문화적 노력이 필요하다는 것이 이날 패널 토론의 전반적인 내용이었고요. 얼핏 보면 맞는 말 같습니다. 기술은 잘못이 없다, 사람이 잘 사용하는 것이 중요하다… 흔히 들을 수 있는 말이죠. 하지만 기술은 생각만큼 ‘중립적’이지 않습니다. 딥페이크의 출발점은 성착취물 ‘딥페이크’라는 말은 어디서 왔을까요? 이 용어가 등장한 것은 2017년경. deepfakes라는 닉네임을 사용하는 레딧 이용자가 동명의 게시판에 꾸준히 올린 영상이 화제가 되었습니다. 주로 여성 연예인의 얼굴을, 성적 촬영물에 등장하는 여성 신체에 합성한 것이었습니다. 가정용 컴퓨터와 인터넷에서 쉽게 구할 수 있는 영상으로 만들어낸 결과물이었죠. 딥페이크의 어원이 여성 이미지를 동의 없이 조작한 음란물 제작자라는 점, 그리고 그가 대단한 전문 연구기관이나 기업 조직이 아니라 개인이라는 점 모두 중요합니다. 딥페이크의 대중화는 성착취물로 시작했고, 이러한 기술적 성착취는 지나가는 해프닝으로 끝나지 않았습니다. 일례로 생성형 이미지 시장이 등장하며 AI로 만든 이미지뿐만 아니라 특정 그림체에 특화된 AI 모델을 제작하는 일을 금전적으로 보상하는 구조를 형성하고 있는데요. 이는 성착취물도 예외가 아닙니다. 즉 특정 인물의 딥페이크 성착취물 이미지 및 그것을 만들 수 있는 AI 모델이, 생성형 이미지 산업의 구성 요소로 자리 잡고 있는 것입니다. 또한 딥페이크 제작의 기술적 장벽은 갈수록 낮아집니다. 2017년의 deepfakes는 아마 고급 그래픽카드를 설치한 컴퓨터에서 직접 작성한 코드를 실행해 가며 연예인 딥페이크를 만들었을 겁니다. 그것만으로도 문턱이 굉장히 낮아진 것이었지만, 지금은 그럴 필요도 없습니다. 이미지 생성 서비스도 우후죽순 생겨나고, 손쉽게 다운받을 수 있는 맞춤형 AI 모델, 그것을 몇 번의 클릭으로 실행할 수 있는 설치형 응용 프로그램이 얼마든지 있습니다. 더욱 가볍고 빠른 AI를 향한 경쟁 가운데 일반 가정용 컴퓨터에서 돌아가는 AI 성능은 계속 향상되는 추세입니다. 누구나 딥페이크를 제작할 수 있는 조건 속 개인의 손에는 굉장한 힘이 주어졌고, 이 힘은 음란물 제작에 적극적으로 활용되고 있습니다. ‘AI 산업 vs 음란물’은 잘못된 구도 이렇게 되기까지 업계의 자정 노력이 없지 않았습니다. AI 모델 접근 권한을 통제하거나, 음란물 필터를 통해 부적절한 결과물을 걸러내거나, 서비스 정책을 통해 일부 행위를 금지하는 등 다각도의 접근이 있었지요. 지금도 관련 연구가 많이 진행되고 있습니다. 하지만 그 노력에 아무리 박수를 보낸들 피해는 계속 발생해 왔다는 점을, 냉정하게 바라볼 필요가 있습니다. AI 산업은 음란물과의 싸움에서 지고 있습니다. 아니, 어쩌면 AI 산업과 음란물이 싸우고 있다는 관점 자체에 오류가 있는지도 모릅니다. “시스템의 용도는 그것이 실제로 하는 일이다 (The purpose of a system is what it does, POSIWID)”라는 격언이 있습니다. 시스템이 실제로 하지 못하는 것을, 그 시스템의 의도된 작용이라고 주장하는 것은 무의미하다는 말입니다. 시스템의 작용을 이해하는 일은 그에 대한 기대나 가치적 판단보다, 실제 벌어지고 있는 현상에 대한 관찰에 따라야 한다는 교훈을 담고 있습니다. 이 격언을 염두에 두고 현 상황을 검토해 봅시다. AI 산업의 성장과 함께 딥페이크 성착취물 또한 일부 개인의 일탈을 넘어 산업화하고 있고, AI 기술 발전 방향은 개인의 딥페이크 제작 능력 향상과 맞닿아 있습니다. 그렇다면 음란물 제작은 딥페이크 기술의 발전 과정에서 의도치 않게 생겨난 불행하고 부수적인 역효과 같은 것이 아니라, 그 기술이 그렇게 작용하도록 설계된 결과라고 할 수 있지 않을까요? 딥페이크 기술의, 나아가 AI 산업의 용도(중 하나)는 성착취물 제작을 손쉽게 만드는 것이라고요. KrIGF 패널은 합성 성착취물 등 일련의 사건으로 딥페이크 관련 기술의 폐해에 관한 우려가 고조되어, 이 기술의 긍정적 가능성을 차단할 것을 우려했습니다. 하지만 저는 해당 피해가 마치 예외적 상황인 것처럼 인식해서는, 부정적 효과를 차단하기도 긍정적 효과를 끌어내기도 어렵다고 봅니다. AI 산업의 작동 방식 자체가 음란물 관련 피해를 키우는 방향으로 작용한다는 점에 눈감은 채 문제를 해결할 수 없습니다. 🦜더 읽어보기 생성 AI 성착취물 시장의 구조 (AI 윤리 레터, 2023-09-04) 인공지능이 만드는 모두의 딥페이크 (고아침, 2023-01-31) Inside the AI Porn Marketplace Where Everything and Everyone Is for Sale (404 Media, 2023-08-22) OpenAI Is ‘Exploring’ How to Responsibly Generate AI Porn (Wired, 2024-05-08) We Are Truly Fucked: Everyone Is Making AI-Generated Fake Porn Now (Vice, 2018-01-25)