총
138
개
244
공학도를 위한 AI 윤리
FAIR AI: 둘째 날 스케치
by. 💂죠셉
지난 금요일, NC 문화재단이 주최한 FAIR AI 컨퍼런스에 다녀왔습니다. 행사 둘째 날 주제가 바로 지난주 저희 레터에서 소개한 임베디드 에틱스(Embedded EthiCS)였기 때문인데요. 임베디드 에틱스는 미국 하버드 대학교에서 2017년 무렵 시작된 다학제적 교육 프로그램으로, 컴퓨터 공학 커리큘럼에 윤리를 끼워 넣음(embedded)으로써 둘의 융합을 시도합니다. 특히 이번 컨퍼펀스에서는 이 프로그램을 적극적으로 커리큘럼에 반영시켜 온 스탠포드 HAI의 제임스 랜데이와 메흐란 사하미 교수의 이야기를 직접 들을 수 있었습니다. (사하미 교수는 국내에서도 제법 읽힌 <시스템 에러>의 공저자 중 1인입니다.)
임베디드 에틱스는 2016년 경 하버드 철학과 교수인 바바라 그로스의 개인적 경험에서 시작됐습니다. 현실 문제에 윤리적 고려를 반영해야 하는 과제를 줬을 때 평소 기술 윤리에 제법 관심을 가진 학생들조차도 어떻게 해야 할지를 전혀 모르는 듯한 모습에 충격을 받은 것이죠.
컴퓨터 공학자가 철학자, 인류학자, 윤리학자 등과 한 팀을 이뤄 디자인하는 이 프로그램의 가장 큰 특징이자 목표는 학생들을 최대한 다양한 윤리적 관점에 노출 시키는 것에 있습니다. 가령 AI의 설명 가능성을 높이기 위한 ‘윤리적’ 작업이 AI의 성능 저하로 이어져 예상치 못한 문제를 일으킬 수 있는 것이 한 예시겠죠. 이렇듯 기술을 기획하고 만드는 과정이 굉장히 다양한 기술적, 사회적 함의와 닿아 있다는 사실을 학생들은 반복적으로 배우게 됩니다. 이 과정을 통해 윤리적 상상력을 기르고, 기술 개발에 윤리를 고려하는 건 가치의 교환/협상(trade off)이라는 사실을 체화하는 것이죠.
물론 이 프로그램이 얼마나 실효성이 있는지는 시간을 두고 봐야 할 것입니다. 기술에 대한 윤리적 감수성이 졸업 이후에도 도움이 되고 있다는 후속 연구도 보이지만, 이런 노력이 가시적인 열매를 맺는 건 임베디드 에틱스 졸업생들이 여러 사회 조직의 결정권자가 되는 시점일 테니까요. 이날 사하미 교수가 공개한 설문 조사 결과에 따르면 임베디드 에틱스를 경험한 학생들도 해당 커리큘럼이 얼마나 본인에게 도움이 되었는지에 대한 질문들에 대해 모두 긍정적이지만은 않았습니다. 예를 들어 1점(전혀 동의하지 않음)부터 7점(강하게 동의함) 사이에서 1-3 사이에 위치한 학생의 비율은 꾸준히 20-30%를 기록했습니다.
프로그램 도입을 위한 이해관계자 설득을 어떻게 하냐는 질문에 ‘지지해 줄 사람(proponents)을 찾아 시작하면 된다’는 사하미 교수의 조언에서 드러나듯, 윤리를 강조하는 방향성이 모두에게 설득력을 가지길 기대하긴 어려울지도 모릅니다. 하지만 기술을 기획하고 만드는 사람들의 인식 개선을 시도하는 임베디드 에틱스는 순수 ‘임팩트’의 관점에서 보면 상당히 매력적인 솔루션이 될 수 있습니다.
현재 하버드와 스탠포드 뿐만 아니라 미국 유수의 대학들이 이 방향성에 동참 중입니다. (행사에 참여한 서울대 천현득 교수 발표에 따르면 한국 대학 중에서 임베디드 에틱스를 적용한 곳은 현재까진 없는 것으로 보입니다.) 오픈소스로 원하는 누구나 정보를 얻어갈 수 있으니 관심 있으신 분은 이 웹사이트에서 시작해 보시면 되겠습니다.
인공지능
·
265
AI, 낯설게 보기
사이버 탐정이 그린 AI 해부도
by 💂죠셉
혹시 어린 시절 어물쩍 밥을 남기려 하면 ‘열심히 일한 농부 아저씨께 감사하며 싹싹 긁어 먹으라’는 말 듣고 자라셨나요? 시니컬한 어른이 된 지금이라면 ‘내가 돈을 내고 서비스를 맞교환 한 건데 뭘 감사하기까지?’ 했겠지만, 생각해 보니 재밌습니다. 쌀을 수확하기 위해 땀 흘리며 수고하는 농부의 모습이 서른을 훌쩍 넘긴 지금도 여전히 무의식에 자리 잡아 행동에 영향을 미치고 있거든요. 경제 산업 구조의 관점에서 보면, 어머님 잔소리가 멀리 떨어진 1차 산업 종사자와 그 공급 사슬의 끝에 있는 소비자인 ‘나’ 사이 다리를 놓은 상황이라 할 수 있겠죠.
AI 영역에서도 저희 어머니와 비슷한(?) 작업을 수행하고 있는 사람들이 있습니다. 그중 가장 유명한 건 저희 레터에도 종종 등장하는 케이트 크로퍼드(Kate Crawford)겠죠. AI 분야 추천 도서로 심심찮게 언급되는 저작 <AI 지도책>을 통해 일상에서 사용하는 서비스 형태의 AI가 우리에게 이르기까지 과정을 치밀하게 분석했습니다. ‘디지털’, ‘클라우드’, ‘챗봇’과 같은 단어들이 가지고 있는 청정하고 가치 중립적인 이미지와 다르게 사실은 광물의 추출 과정부터 운송, 데이터 센터의 운용과 보이지 않는 곳에서 착취되는 노동자까지, AI는 전 지구 단위 자원이 투입되는 거대 ‘추출 산업’이라는 점을 보여줬습니다.
비슷한 작업을 해온 연구자, 블라단 욜러(Vladan Joler)를 주목해야 할 인물로 소개합니다. 욜러는 우리가 사용하는 테크놀로지의 기술적, 사회적, 정치적 단면의 ‘해부도’를 그리는 작업을 진행해 왔습니다. 페이스북 알고리즘을 대상으로 작업을 시작한 이후 아마존의 AI 스피커인 ‘에코’를 분석한 ‘AI 시스템의 해부’는 크로퍼드와의 공동 작업으로 뉴욕 MoMa에도 전시된 바 있는데요. 두 사람이 또 한 번 합작한 작업물이 얼마 전 온라인에 공개됐습니다. ‘1500년 이후 기술과 권력의 계보학’이라는 야심 찬 제목을 가진 인터랙티브 시각화 작업입니다. 500년간 기술과 사회구조가 어떻게 맞물려 진화해 왔는지를 보여주는 또 하나의 거대하고 복잡한 해부도이기도 하죠.
방대한 연구 내용을 레터에서 자세히 다룰 수는 없지만 위와 같은 종류의 AI 비평 작업들이 유의미한 지점은 어디일지 생각해 보면 좋겠습니다. 이번에 발표한 작업물을 소개하는 영상에서 욜러는 마치 ‘사건을 쫓는 사이버 탐정’의 심정으로 연구를 진행했다고 밝혔습니다. 그만큼 이미 AI와 같은 테크놀로지는 우리를 둘러싼 매우 복잡한 환경의 일부가 되어 있고, 설령 인식했다 해도 그 정확한 작동법을 알기 힘든 블랙박스와 같기 때문인데요.
동시에 욜러와 크로퍼드는 기술 발달로 인해 발생하는 새로운 노동 관계, 착취의 방식, 사용자와 온라인 공간을 소유한 플랫폼 오너들의 관계 등 문제들을 이야기하기 위한 언어가 우리에게 없다는 지적합니다. 즉, 이러한 문제의식 속에서 해부도를 통해 관계를 인식하게 하고, 추상의 영역에 머물던 AI를 물질 세계로 끌어내림으로서 ‘공공연한 사유의 대상’으로 만드는 것이 그들의 목표인 것이죠.
https://www.youtube.com/watch?...
비판적으로 생각하기 위해서는 '낯설게 보기'가 필수라는 점에서 크로퍼드와 욜러를 위시한 기술-권력의 시각적 해부도는 제가 아는 어떤 AI 비판보다 효과적인 것 같습니다. (언뜻 보기에 너무 복잡해서 접근성이 떨어진다는 의견이 있을 법 하지만, 사실 위 작업물들은 스크린을 통한 ‘보기’보다는 공간 속에서 직접 경험해볼 것을 염두에 두고 제작된 것으로 보입니다. 이번 작업물도 베를린과 밀란에서 얼마 전까지 전시됐습니다.) 아직 밥 먹으며 농부 아저씨를 떠올리는 정도는 아니지만, 챗GPT를 이용하다 종종 멈칫하는 순간이 생기는 건 아마도 두 연구자의 노력 때문이 아닐까요. AI 시대에 더 많은 사람들에게 도전과 영감을 줄 연구와 작업물이 계속 만들어지길 기대하고 응원합니다.
📖Estampa 라는 프로젝트 그룹이 생성형 AI를 해부한, 좀 더 접근성이 좋은 자료도 있습니다. 해부 대신 ‘지도학(cartography)’라는 표현을 쓴 게 눈에 띄네요.
생성형 AI에 대한 기대는 하이프일까?
by 🧙♂️텍스
생성형 AI와 전문가 시스템은 닮은 구석이 있다.
챗GPT가 등장하고 1년 반 정도가 지난 요즘 다들 어떠신가요? 초기에는 관련 논문과 생성형 AI 뉴스를 따라가느냐고 번아웃이 왔다는 이야기도 주변 사람들과 많이 주고받았습니다. 하지만, 요즘은 뭔가 예측할 수 있는 일이 진행된다는 느낌이 듭니다. 어쩌면 플레이어들이 소극적으로 변했기 때문이 아닐까 싶습니다.
선도주자인 오픈AI도 생성형 AI의 기술 한계에 도전하기보다는 현재 생성형AI의 완성도를 높이고 상업화를 가속하는 방향을 집중하는 게 아닌가 싶은 모습입니다. 스케일을 키워 범용인공지능 (AGI)를 만들겠다고 이야기했지만, 실제 등장한 것은 GPT-5가 아니라 경량화 모델로 추정되는 GPT-4o이었습니다. 또한 최근 6월 21일 오픈AI는 벡터 데이터베이스 스타트업 록셋(RockSet) 인수를 발표했습니다. 벡터 데이터베이스는 검색증강생성(Retrieval Augmented Generation, RAG) 서비스를 위해서 사용될 수 있습니다만, RAG는 환각 문제를 완화하는 방편이지 근본적인 해법은 아닙니다. 즉, 생성형 AI가 달성하겠다는 AGI의 청사진들은 여전히 미완결 과제로 남아있습니다.
현재 생성형 AI를 둘러싼 과도한 기대는 80~90년대 전문가 시스템이 발전하던 시기의 모습과 유사해 보입니다. 당시에도 전문가 시스템을 둘러싼 하이프가 있었고 많은 투자가 이어졌기 때문입니다. 그리고 약속한 성과를 달성하지 못한 AI에 대한 기대는 실망으로 바뀌면서 사회 전반의 AI에 대한 관심이 급격히 떨어지고 연구비 또한 많이 삭감되는 AI의 겨울을 맞이했습니다.
전문가 시스템의 시작과 인기
전문가 시스템(expert system)은 특정 분야에서 인간 전문가의 의사 결정 능력을 모방하도록 설계된 AI 알고리즘입니다. 1960년대 중반에 스탠퍼드 대학교에서 개발된 최초의 전문가 시스템인 DENDRAL은 화학자들이 유기 분자 구조를 식별하는 데 도움을 주었습니다. DENDRAL의 연구자들은 전문가 시스템이 인간 전문가의 지식을 기호 및 논리적 표현으로 풀어서 서술하여 복잡한 문제를 해결할 수 있는 가능성을 보았습니다. 이러한 접근 방식은 MYCIN, MOLGEN, PROSPECTOR, XCON와 STEAMER 등과 같은 더 정교한 시스템의 개발로 이어졌습니다.
1972년 등장한 MYCIN은 혈액의 세균 감염에 대한 전문가 시스템으로 지식베이스와 추론엔진으로 구성된 구조를 도입하였습니다. MYCIN의 지식베이스를 구성하는 규칙은 아래와 같은 형태로 되어 있습니다.
만약에,(1) 해당 미생물이 그람 양성균(Gram-positive bacteria)이고,(2) 해당 미생물이 구균(coccus)의 형태를 가지며,(3) 해당 미생물이 뭉쳐진 성장 형태를 가지면,해당 미생물이 포도상구균일 가능성이 (0.7) 입니다.출처 MYCIN : 규칙을 토대로 추정에 의한 추론을 사용한 시스템
MYCIN은 위와 같은 세균 감염에 대한 지식베이스를 사용자가 세균에 관한 정보를 입력하면 감염된 것으로 추정되는 세균과 그 확률을 계산해줍니다.
MYCIN은 약 500개의 규칙을 사용하여 혈액 감염 분야에서 인간 전문가와 거의 같은 수준의 능력으로 작동했으며, 일반 의사들보다는 약간은 뛰어난 성과를 보였다고 합니다. 이는 특정 분야에서 전문가 수준의 추론 과정을 컴퓨터가 따라하도록 프로그래밍할 수 있다는 것을 보여주는 계기가 되었습니다. 특히, 전문가 시스템과 같은 기호주의 AI 방법들은 기호 및 논리적 표현을 사용하고 논리나 확률 계산 등 명시적인 방법을 통해 추론하기 때문에 의사결정과정을 투명하게 볼 수 있다는 장점도 있습니다.
전문가 시스템에 대한 하이프
의사 결정의 불확실성을 개선하려는 기업들은 전문가의 지식을 기반으로 컴퓨터가 추론을 수행하는 전문가 시스템의 약속을 매력적으로 여겼습니다. 기업들은 경쟁 우위를 확보하기 위해 특정 도메인 맞춤형 전문가 시스템 개발에 막대한 투자를 했으며, 이는 상업용 전문가 시스템 도구와 플랫폼의 등장을 이끌었습니다. 이 기간에 전문가 시스템에 대한 학술 연구 또한 활발히 이루어졌습니다. 지식 표현 및 추론(knowledge representation and reasoning)과 같은 연구는 더 넓은 분야에 전문가 시스템을 적용할 수 있는 이론적 배경을 제공했습니다. 그 결과 전문가 시스템은 의료 진단, 금융 서비스 및 제조업 등 다양한 분야에서 널리 적용되었습니다.
전문가 시스템에 대한 하이프는 시장 과열을 낳았습니다. 기대는 높아졌고, 기술로 달성할 수 있는 현실과의 괴리는 커졌습니다. 많은 조직이 전문가 시스템 구현에 상당한 자원을 투입했지만, 유지보수의 한계를 맞닥뜨리게 되었습니다. 지식에 변경 사항이 있을 때 마다 전문가를 통해서 데이터베이스를 업데이트해야 했기 때문입니다. 따라서 전문가 시스템은 유지보수의 확장성 및 유연성이 떨어졌습니다.
일본의 제5세대 컴퓨터 프로젝트
1982년에 시작되어 1994년에 종료된 일본의 제5세대 컴퓨터(Fifth Generation Computer Systems, 이하 FGCS) 프로젝트는 전문가 시스템 시대 하이프의 대표적인 사례입니다. 이 프로젝트는 새로운 병렬 컴퓨터와 논리 프로그래밍으로 컴퓨터 과학을 혁신하려고 시도했으며, 전 세계적으로 AI 기술에 대한 기대를 크게 높였습니다. 그러나 FGCS 프로젝트는 종료될 때까지도 당시 대다수의 전문가 시스템과 마찬가지로 목표를 달성하지 못했습니다. 논리 연산을 위한 병렬 컴퓨팅 하드웨어 개발은 목적을 달성했지만 시대를 너무 앞서나가는 개념이었고, 80~90년대에 빠르게 발전하는 범용 컴퓨터들은 점차 FGCS 하드웨어의 성능을 추월했다고 합니다. 전문가 시스템의 과도한 약속과 하이프, 그에 미치지 못한 성능에 대한 환멸은 결과적으로 AI 연구 및 개발 자금 삭감의 시발점이 되었습니다.
생성형 AI에 대한 기대는 하이프일까?
오픈AI를 포함한 많은 테크 기업들은 데이터와 모델 규모에 대한 스케일 법칙으로 AGI를 달성하겠다는 비전을 보여왔습니다. 현재에 와서도 여전히 생성형 AI의 환각 현상, 안전 이슈 그리고 윤리 문제는 녹록치 않아 보입니다. 오픈AI는 이에 대한 해법으로 인간 피드백을 통한 강화 학습(RLHF)과 같이 안전 및 윤리 문제를 위한 정교한 데이터셋 구축 및 생성형 AI를 조정하는 식으로 문제를 해결 혹은 우회해왔습니다. 하지만 정교한 데이터셋은 전문가 시스템과 유사하게 꾸준한 유지보수를 필요로 하고 큰 비용을 요구합니다. 데이터셋 구축의 단위 비용이 커진다면 규모를 키우기는 점점 어려워질 것입니다.
맥도날드가 완성도 낮은 챗봇 기반 주문 시스템을 포기한 현실은 AI 시스템이 작동하기 위해서는 고려할 예외 사항이 많다는 것을 보여줍니다. 그리고 콜센터 노동자가 실질적으로 인공지능 시스템을 유지보수하면서 제대로 된 보상을 받지 못하고 있는 상황은 AI 시스템 동작을 위해 지속적인 유지보수가 필요함에도 투입되는 노동은 평가절하되는 현실을 보여줍니다. 이러한 식의 비윤리적인 유지보수를 벗어나 적정한 보상을 제공할 때 생성형 AI는 기업에게 충분한 이익을 가져다 줄 수 있을까요? 이러한 제약조건 하에 유지보수가 가능한 AI 서비스를 달성할 수 있다면 생성형 AI의 하이프는 전문가 시스템의 하이프와 다른 길을 가리라 판단됩니다.
🦜더 읽어보기- 노동의 미래? 맥도날드에서 드러난 AI 기술의 현주소 (2024-06-24)- 콜센터 인공지능을 지탱하는 상담사의 그림자 노동 (2024-06-10)- 더 나은 AI를 위한 상상 (2024-04-24)- 강화학습이 강화하는 역사 (2024-04-24)
#feedback
오늘 이야기 어떠셨나요?여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.
인공지능
·
218
노동의 미래? AI 기술의 현주소
AI 윤리 뉴스 브리프
2024년 6월 넷째 주by 🥨 채원
1. 저커버그 잘못이라구
소셜미디어가 특히 어린 사용자들의 건강에 부정적인 영향을 준다는 비판은 꾸준하게 있어왔습니다. 학계에서도 소셜 미디어 사용이 사용자들에게 미치는 영향에 관한 연구가 활발하게 이루어지고 있는데요, 지난 달 네이처지에 소셜 미디어의 어떤 구조가 특히 청소년들의 정신 건강에 위험을 끼치는지 분석한 논문이 실리기도 했습니다.
그러나 이러한 오랜 비판에도 불구하고 소셜 미디어를 운영하는 거대 테크 기업들에 이렇다할 결정적인 제동이 걸리지는 않았습니다. 거대 테크 기업들은 여전히 소셜 미디어 플랫폼을 장악하며 온라인 생태계를 주름잡고 있죠.
미 45개 주와 컬럼비아 특별구가 진행하고 있는 소송은 이러한 현실에 경종을 울리고 있습니다. 검찰측은 메타가 자사 제품들 (인스타그램, 페이스북)이 어린 사용자들에게 미치는 악영향을 의도적으로 축소했다고 비판합니다. 이러한 노력이 과연 소셜 미디어의 독주에 유의미한 변화를 이끌어낼 수 있을지 함께 지켜봐야 할 것 같습니다.
🦜더 읽어보기- How Mark Zuckerberg’s Meta Failed Children on Safety, States Say (The New York Times, 2024-06-22)- 美 41개주 "메타 과도한 중독성, 미성년 정신건강 피해" 소송 (연합뉴스, 2023-10-25)
2. 한 눈에 보는 기술과 권력의 계보학
인공지능을 비롯한 기술을 비판적으로 사유해온 케이트 크로퍼드가 블라단 욜러 과의 새로운 공동 작업을 발표했습니다. <계산하는 제국들: 1500년 이래의 기술과 권력의 계보학> 이라는 제목입니다.
1500년부터 권력과 기술이 어떻게 얽혀왔는지 한 눈에 보여주는 인포그래픽 작품인데요, 얼마전까지 베를린의 현대 미술관인 KW에서 전시작품으로 선보이기도 했습니다. 전시 공간에 24미터의 거대한 지도로 설치되었던 작품인 만큼, 인포그래픽 가득 방대한 정보가 담겨져 있습니다.
거대 언어 모델을 비롯한 각종 AI 기술을 복잡한 층위의 역사적, 정치적, 사회적 맥락 안에 위치시킴으로서 보편적이고도 특수한 관점에서 AI를 통찰하는 케이트 크로퍼드의 능력은 점점 정교하고 날카로워지는 것 같습니다. 같은 작가의 <AI 지도책>은 제가 AI에 관심 있는 모두가 읽어야 하는 책이라고 주변에 강력하게 추천하고 다니기도 하는데요, 이렇게 기르는 비판적인 사유 능력이야말로 지금 AI 담론에 가장 필요한 능력이 아닐까 싶습니다.
3. 노동의 미래? 맥도날드에서 드러난 AI 기술의 현주소
AI가 각종 사건사고의 중심에 서 있는 것은 새로운 일이 아니죠. 이러한 AI 사건사고만을 모아두는 데이터베이스도 있습니다. 그렇지만 그저 웃고 넘기기에는 AI의 발전에 달려있는 노동의 미래가 조금 암울합니다.
맥도날드가 IBM과의 협업을 통해 AI 드라이브스루 주문을 도입하겠다고 밝혔던 것이 대략 3년 전이었는데요, 최근 이 서비스를 중단하였습니다. 소셜 미디어에서 해당 AI 챗봇이 오작동하는 장면들이 바이럴된 것에 따른 조치로 보이는데요, 최근에는 맥너겟을 260개 주문하는 이 틱톡 영상이 화제가 되었습니다.
지난주 브리프에서도 식어가는 생성형 AI 열기에 대한 소식을 공유드렸었는데요, 챗GPT를 비롯한 생성형 AI가 시장에 소개된지도 시간이 꽤 흐른 만큼, 기술의 거품이 꺼질 시점이 온 것이 아닐까 싶기도 합니다.
🦜더 읽어보기- 260 McNuggets? McDonald’s Ends A.I. Drive-Through Tests Amid Errors (The New York Times, 2024-06-21)- "아이스크림에 베이컨이?"…맥도날드 'AI 주문' 결국 중단 (SBS, 2024-06-22)
#feedback
오늘 이야기 어떠셨나요?여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.
인공지능
·
199
AI의 모든 날, 모든 순간
우리가 주목해야 할 지금 발생중인 진짜 피해
by 🤔어쪈
피해를 생성하는 [생성형 AI] (Generating Harms). 작년 그리고 올해 연이어 생성형 AI의 유해한 영향을 분석한 EPIC (Electronic Privacy Information Center; 전자개인정보센터) 에서 내놓은 보고서 시리즈 제목입니다.
사실 첫번째 보고서를 이미 AI 윤리 레터에서 소개한 적이 있습니다. 아래 나열한 것과 같이 다루는 주제가 광범위하다보니 노동 영역에 미치는 영향을 중심으로 살펴봤었죠. 미처 직접 다루진 않았지만 AI 윤리 레터 구독자 분들에게 꽤 익숙할만한 피해 종류들입니다.
오정보 및 역정보의 무분별한 확산
프라이버시 및 데이터 보안, 지적재산권 침해
기후 위기를 부추기는 환경 영향
그 외 노동의 가치 절하, 소외 집단에 대한 차별, 생성형 AI 제품에 대한 법적 책임의 모호성, 시장 지배력 및 독점 강화 등
올해 발간된 두번째 보고서는 지난 1년 사이 생성형 AI 기술이 굉장히 빠르게 확산되며 앞서 언급한 것에 더해 새롭게 식별되거나 파생된, 보다 시급하게 개입이 필요한 4가지 영역에 초점을 맞췄습니다. 전작이 포괄성에 방점을 찍었다면, 이번에는 여러 실제 사례들을 바탕으로 실질적인 피해가 발생하고 있다는 점을 강조합니다.
선거 관련 위험
생성형 AI로 인해 발생하는 오정보 및 역정보는 선거 맥락에서 보다 큰 파급력을 가지며 결과적으로 민주 정치 제도에 대한 신뢰를 실추시킴
또한 외국에서의 선거 개입을 보다 쉽게 만들고 선거 기간 일어나는 사람 및 조직간 의사소통 및 상호작용의 취약점을 악용하는 보안 및 안전 문제가 일어남
본격화된 데이터 및 프라이버시 침해
이른바 ‘데이터 활용 최대주의 (maximalist data use)’가 득세함에 따라 데이터 프라이버시 기본 원칙인 데이터 최소화, 목적 제한 원칙이 지켜지지 않고 있음
웹 스크래핑이 사실상 생성형 AI 개발을 위한 기본 선택지가 됨에 더해 모델의 불투명성은 예측하기 어려운 데이터 프라이버시 보안 문제를 불러일으킴
데이터의 기능적·질적 악화
디지털 환경에서 AI 생성 콘텐츠가 범람하며 악화의 양화 구축이 나타나고 있는 한편, 규모의 법칙에 대한 믿음 아래 생성형 AI 개발 목적의 무분별한 데이터 수집 및 학습이 자행되고 있음
두 현상의 상호작용으로 인해 데이터의 인간 사회의 지식과 정보의 원천 역할을 더이상 기대할 수 없음
콘텐츠 라이선스의 함정과 역효과
생성형 AI 개발을 위한 학습 데이터 구축 방법으로 무분별한 웹 스크래핑이 보편화됨에 따라 생기는 문제 해결을 위해 첫번째 보고서를 비롯한 여러 곳에서 콘텐츠 라이선스를 대안으로 제시함
하지만 최근 발표되고 있는 AI 및 콘텐츠 분야 기업 간 계약은 오히려 1) 대기업 간 독점 계약으로 인한 경쟁 제한, 2) 지적 재산권 분야 법제도적 논의 및 검토 회피, 3) 취약한 창작자 지위로 인한 사실상의 착취 구조 조성 등의 문제를 일으킴
보고서를 발표한 EPIC이라는 연구소는 디지털 환경에서의 프라이버시 및 관련 기본권 보호를 위해 설립된 비영리단체로, 무려 30년동안 활동을 이어오고 있습니다. 긴 업력을 토대로 EPIC은 생성형 AI 자체는 새롭게 떠오르는 유망 기술일지 모르지만, 그로 인해 제기되는 문제와 피해는 결국 기존 디지털 환경의 프라이버시, 투명성, 공정성에 대한 논의의 연장선에 있다고 주장합니다.
뿐만 아니라 실제 피해가 발생하고 있는 지점을 강조함으로서 사람들로 하여금 생성형 AI가 초지능이 되어 ‘인류에 대한 실존적 위협’을 일으킬 수 있다는 공상과학 소설이나 영화에 나올법한 문제보다 당면한 과제에 집중하도록 요구합니다. 의회, 정부, 규제 기관이 어떤 정책을 입안하고 집행해야 하는지 구체적으로 명시한 것 역시 보고서의 특징이죠.
단순 우연인지 계획된 것인지는 모르지만 EPIC의 두번째 보고서가 발표된 날, 미 의회 상원에서도 작년 가을 출범한 AI 인사이트 포럼에서의 논의 결과를 취합하여 작성한 AI 정책 로드맵을 발표했습니다. 하지만 월요일에 전해드린 <시민이 주도하게 하라>라는 제목의 ‘그림자’ 보고서에서 지적하듯, 그 과정이나 결과 모두 기업친화적이라는 비판이 있었죠. (EPIC 역시 해당 보고서 작성에 참여했습니다.)
우리나라 역시 새로운 국회 회기가 시작되며 인공지능법 제정 논의가 한창입니다. 종종 상징성 때문에 통과 여부에만 주목하는 기사가 보이곤 하지만, EPIC의 보고서가 담고 있는 실제 피해를 방지하기 위한 법안 내용을 둘러싼 논의가 이뤄지기를 희망해 봅니다.
'내가 살고 싶은 세상'으로부터 시작하기
by. 💂죠셉
3주 전 TESCREAL 에 대한 글을 보낸 이후, 윤리레터 북클럽은 AGI(보편 인공 지능)를 거쳐, 기술-미래 예측의 메커니즘으로 관심을 이어가는 중입니다. 카이스트 전치형 교수님과 서울대학교 홍성욱 교수님의 공저인 <미래는 오지 않는다>를 함께 읽고 있는데요. 오늘 레터는 이 책의 소개이자, 지난번 썼던 TESCREAL 글의 논지를 확장해 보는 글입니다.
‘과학기술은 어떻게 미래를 독점하는가?’라는 부제에서 드러나듯, <미래는 오지 않는다>는 TESCREAL 주의자들과 같은 비져너리들이 미래를 예언하는 방식을 비판적으로 바라보는 책입니다. 두 저자에 따르면 미래 예측은 해석과 비판이 필요한 담론입니다. 즉, 기술 발전을 진화의 과정과 동일시하며 AGI의 도래를 역사적 필연으로 선언하는 TESCREAL 주의자들의 입장과 대비되는 관점이죠.
당연한 말이지만 기술과 사회, 문화는 진공 상태에서 발전하지 않습니다. 그렇기 때문에 이 복잡계들이 맞물려 서로를 어떻게 바꿔나갈지를 정확히 예측하기란 거의 불가능에 가깝죠. 일례로 2019년, 기술 논평의 대표적 매체인 미국의 월간지 와이어드(WIRED)에서 25년간 내놓은 미래 예측을 일일이 분석한 글에 따르면, 그간 웹과 블록체인 등 기술에 대한 전문가들의 낙관론은 대부분 실현되지 않았습니다. 오히려 그 낙관론이 극에 달했을 때 찾아온 건, 닷컴 버블과 2008년 금융 위기였죠. 자동차가 개발됐을 당시엔 도시에 가득한 말똥 문제를 해결해 줄 ‘청정기술’로 여겨졌다는 사실 또한 기술-미래 예측에 대해 많은 걸 시사합니다.
그런데 예측이 어렵다는 걸 기술의 전문가인 저들이 정말 몰라서 확신에 찬 발언을 하는 걸까요? 이 지점에서 우린 미래 예측이 ‘현재’에 미치는 영향으로 시선을 돌려야 합니다. 즉, 이 예언들은 어떤 내러티브를 통해 전달되고 있는가? 그 내러티브에서 공통으로 보이는 구조는 무엇인가? 누가 어떤 방식으로 예언하고 있는가? 이를 통해 어떤 관점이 강화되며, 반대로 어떤 미래가 배제되고 있는가? 와 같은 질문을 던져보는 거죠.
가령 우리는 TESCREAL 주의자들에게 같은 질문을 던져볼 수 있습니다. AGI의 잠재력이 그렇게 대단하다면, 인간의 조건을 개인적으로 초월하는 것뿐 아니라 사회적으로 개선하는 데도 도움을 줄 수 있지 않을까요? 죽음도 극복하고 우주 정복을 가능케해 줄 대단한 기술이라면 왜 가난과 불평등 같은 오래된 문제의 근원을 분석하고 해결하는 데 사용할 수 없는 걸까요? 그건 한나 아렌트가 <인간의 조건>에서 성찰했듯 모든 기술-미래 예측이 필연적으로 정치적이기 때문입니다. 이런 관점에서 보면 TESCREAL이 강화하고, 배제하는 미래의 모습은 보다 선명해집니다.
어떻게 생각하시나요? 저는 아니지만, 이 글을 읽는 누군가에겐 트랜스휴머니즘이나 롱터미즘도 매력적인 대안으로 느껴질 수 있을 것이라 생각합니다. 결국 중요한 건 “이렇게 파악한 기술-미래 예언의 구조와 특성이 자신의 세계관과 어떤 점이 부합하고, 어떤 점에서 차이가 있는지를 따져보는 것 (p.190)”이겠죠. 가령, 육체는 무의미하며, 죽음을 초월해 비생물학적 존재로 진화하는 TESCREAL 버젼의 미래는 내가 살고 싶은 세상의 모습과 얼마나 가까운가? 와 같은 질문에서부터 시작해 볼 수 있지 않을까요? AI와 같은 기술이 우리 환경 그 자체가 되어가는 시대, 이런 대화가 더욱 많아져야 합니다. “우리 모두가 직접 미래 예측 활동에 뛰어들 수는 없지만, 미래에 대한 더 나은 논쟁은 현재를 더 낫게 바꾸는 데 기여(p.11)’ 할 수 있으니까요.
#feedback
오늘 이야기 어떠셨나요?여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.
인공지능
·
223
1주년 기념 두번째 답장
독자와의 (아주 느린) 두번째 대화
새로운 보금자리에서 보내는 AI 윤리 레터 역시 항상 위와 같은 피드백 창구를 열어두고 있습니다. 지난주 이후에만 1주년과 웹사이트 오픈 축하 인사를 포함한 7개의 피드백을 받았어요! 하나하나 감사히 읽으면서 앞으로도 꾸준히 좋은 글로 보답해야겠다는 다짐을 해봅니다.
저번에 이어 1주년 기념으로 AI 윤리 레터 필진이 기억에 남는 피드백에 답장을 드리는 자리를 한번 더 가져봅니다 🙂
📬 불만자 님이 남겨주신 의견, 2023-06-05
도덕적 아웃소싱 아주 흥미로운 개념입니다. 비단 AI가 아니더라도 도덕적 아웃소싱은 우리 사회의 만연한 문제인 것 같습니다. 한국 사회의 가장 큰 문제는 모럴 해저드입니다. 그런데 모럴 아웃소싱은 모럴 해저드만큼이나 문제입니다. 정말 나쁜 놈들이 모럴 아웃소싱을 하고서는 자기는 좋은 사람인 척 허허 웃기나 합니다. 결정과 책임과 권한을 떠넘기고 모럴 디시젼을 회피합니다. 손에 흙을 묻히는 일은 남이 다 해 줬으면 좋겠고 자기는 모른 척 하고 있다가 떡이나 먹겠다는 것입니다.산업 현장 도처에서 모럴 아웃소싱이 발견됩니다. 이익만 누리고 의무와 책임과 결정은 아래쪽에 떠넘긴 다음에 그 아래쪽이 모럴 해저드를 택할 수 밖에 없게끔 만듭니다. 그러고 나선 이익도 자기가 갖고 도덕적 우위도 자기가 갖는 것입니다. 이제 인간들은 심지어 AI에게까지 모럴 아웃소싱을 합니다. AI는 불평도 하지 않고 도덕적으로 blame할 수도 없으니 모럴 아웃소싱하기 딱 좋습니다.
Re: 불만자 님께 (by 🤔어쪈)
🌏다솔님께서 소개해주신 루만 초드리(Rumman Chowdhury)의 ‘도덕적 아웃소싱 (moral outsourcing)’ 개념은 평소 제 문제의식과도 닿아있는데요. 논의에 앞서 거의 1년 가까이 지나서야 답장을 드리는 점 양해 부탁드립니다. (_ _)
도덕적 아웃소싱은 보통 도덕, 윤리에 대한 고려가 필요한 의사결정을 기계나 알고리즘, AI에 맡기고 책임을 회피하고자 하는 행위를 지칭합니다. 하지만 지적해주신 것과 같이 어떤 조직이나 사람이 다른 이에게 도덕적 아웃소싱을 하는 모습도 꽤나 익숙하죠. 사실 우리가 사회에서 생활함에 있어 대부분의 의사결정은 일정 부분 도덕적 함의를 갖고 있고, 다양한 종류의 거래와 계약이 그 책임을 전가하는 방식으로 이뤄집니다. 어쩌면 인간 사회에선 그게 너무나 당연하기 때문에 도덕적 아웃소싱이라는 표현에 AI가 내포된 것일 수 있겠다는 생각이 듭니다.
최근 짧게 다룬대로 요즘 AI 업계 키워드는 단연 AI ‘에이전트 (agent)’입니다. 오픈AI의 GPT-4o나 구글의 Gemini 및 프로젝트 Astra 데모 영상을 떠올려보세요. 갈수록 다재다능해지는 AI 기술은 우리로 하여금 AI 에이전트에 보다 많은 역할을 부여하고 의사결정과 행위에 대한 권한을 위임하는 상상을 하도록 만듭니다. 하지만 AI 에이전트가 대신 해주는 역할과 의사결정, 행위의 책임은 누가 져야 할까요? 누가 지게 될까요?
AI 에이전트가 우리 사회에 깊숙이 들어올수록 도덕적 아웃소싱은 보다 빈번하게 일어날 것으로 보입니다. 불만자 님께서 말씀하신대로 AI 에이전트가 불평할 일이 없을테니까요. 하지만 도덕적인 책임을 돌릴 (blame) 수도 없으니 도덕적 아웃소싱을 하기 딱 좋다는 말은 모순적으로 들리기도 합니다. AI 에이전트를 탓할 수 없다면 누가 어떻게 책임을 회피할 수 있는 걸까요?
저는 바로 이 지점에서 도덕적 아웃소싱이라는 개념의 교훈을 얻을 수 있다고 생각합니다. 우리는 능력과 책임이 항상 함께 있다는(움직인다는?) 사실을 너무도 자연스럽게 받아들입니다. 하지만 AI의 능력에는 그 당연한 사실이 적용되지 않습니다. 요컨대 도덕적 아웃소싱은 우리의 착각에서 비롯해 이뤄집니다. 개념을 주창한 루만 초드리가 책임(responsibility)과 책무(accountability)에 주목한 이유도 같은 맥락이 아닐까요?
📬ㅂㄱㅎ 님이 남겨주신 의견, 2024-04-03
(피드백 서두에 많은 여성 AI 전문가를 추천해주셨으나, 공개를 원하지는 않으셔서 중략합니다.)여성 AI 전문가는 한국에 많습니다. 그리고 그 분들에게는 문자 그대로 "시간"이 없습니다. 그 결과는? 아래와 같습니다. [인터넷거버넌스의 여성기술자 참여 증진을 위한 제도적 방안] 정말 많은 "여성" AI전문가들은 "행사"에 "불려가서" "시간외근무"를 강요당하는 것에 힘들어 합니다. 또 누군가는 유리천장을 느끼죠. 정말 잘 아는 전문가는 "내 분야가 아니야" 라면서 나서길 주저합니다.(중략)외로운 고민입니다. 우리는 어떻게 이런 훌륭한 여성 AI 전문가들에게 "대중성" 교육을 시켜드릴 수 있을까요. 그 분들께 희생과 부담을 강요하지 않으면서.
📬 익명의 구독자 님이 남겨주신 의견, 2024-04-03
AI영역 뿐만 아니라 다양한 기술분야에 대해 한쪽 성별에 편향될 수 있다는 의견은 지속적으로 제기되어 왔고, 일정 부분 동의하고 있습니다.하지만 본 아티클에서 아쉬웠던 점은 실제 업무에 투입되는 여성 인력이 부족함에도 불구하고 컨퍼런스 대표자로 할당해야 한다고 주장한 부분입니다.(중략)원론적으로 보면 여성 인력의 수가 적고 그렇기 때문에 그만큼 연설자 수도 적습니다. AI보다 큰 이공계 학과에 입학하는 여성의 수가 29.2%이고 그 중 일부만 AI를 전공합니다.가치관과 개인의 경험의 차이겠지만, 저는 컨퍼런스에 여성 연설자가 많아지는 것보다 AI를 전공하는 여성의 수가 늘어나는 것이 인식개선의 효과가 더 크다고 생각합니다. 변화는 조금 더 느리지만 갈등이 더 적을 것 같기도 하구요. (닭이 먼저냐, 달걀이 먼저냐의 싸움일수도 있겠죠)(후략)
Re: ㅂㄱㅎ님과 익명의 구독자 님께 (by 🎶 소소)
두 피드백 모두 좋은 지적이고 공감이 됩니다. 이렇게 젠더 편향이라는 주제에 대해 섬세하게 생각해주시는 윤리레터 독자분들이 계셔서 감사합니다.
AI 컨퍼런스 내 여성 대표성을 담보하는 것이 여성 연구자들의 자기 희생에 기반하지 않으려면 어떻게 해야 할까요? AI 업계에 종사하는 저에게도 강연 요청이 참 많이 옵니다. 업무 주제와 관련 없이 소속만으로도 섭외 요청이 옵니다. AI를 키워드로 한 컨퍼런스/세미나/강연이 다양한 기관에서 비슷한 주제로 열립니다. 과장을 더하면 한 달에 수십 개도 넘는 것 같습니다. 몇 안 되는 여성 AI 연구자의 경우 더 많은 강의 요청을 받으시겠죠? 그들 모두 본업이 바쁜 가운데 많은 강연에 참석하기 쉽지 않을 것입니다. 힘들지만 어떤 사명감으로 임하는 강연도 있겠지요.
AI 컨퍼런스의 여성 연사자보다 AI 전공 여성 수가 먼저 증가해야 한다는 독자님의 의견에도 공감합니다. 궁극적으로 AI 전공 여성 수가 많아진 후에 여성 연사자가 늘어나는 것이 이상적이겠지요. 그러나 우리에게 다른 차별이 없는 상황을 가정하며 바라는 미래이고, 지금과 같은 과도기에는 반대 방향의 개입도 필요하다는 생각입니다. AI 컨퍼런스에서 보이는 여성 연구자의 모습이 미래의 여성 AI 연구자를 늘리는 데도 중요한 역할을 하기 때문입니다.
한 편으로는 전공자가 아니어도 AI를 이야기하는 여성이 더 많아져야 한다는 생각도 듭니다. 이미 AI 분야 전공자가 아니지만, AI 전문가로 연단에 서는 남성은 참 많습니다. 나는 전문가가 아니라며 나서길 주저하는 여성이 많다는 점도 한 몫할테지요. 그러나 전공자나 전문가만 AI에 대해 이야기해야 한다는 법도 없습니다. 우리에게는 전문가의 이야기 뿐만 아니라 다양한 관점의 목소리가 필요하기 때문입니다. AI 윤리 레터가 존재하는 이유이기도 하지요. 윤리 레터가 앞으로도 다양한 분들이 목소리를 낼 수 있도록 응원하겠습니다.
📬 또다른 익명의 구독자 님이 남겨주신 의견, 2024-05-06
(중략) AI 또는 기술과 관련된 용어를 정확하게 이해할 수 있도록, 용어 정의를 알 수 있는 링크 혹은 간략한 용어 정리 페이지가 뉴스레터에 포함될 수 있다면 좋겠습니다.
Re: 익명의 독자 님께 (by 🤖아침)
읽기를 돕고 공통의 이해를 만들어갈 수 있도록 용어를 해설하는 것, 중요한 일입니다. 말씀해주신 것처럼 종종 필요해 보이는 경우에 용어 설명을 덧붙이고자 합니다. 좀 더 욕심을 부려보자면, 주요 용어가 잘 정리된 목록이나 사전 같은 것도 만들어보고 싶고요.
적절한 용어 설명을 제시할 필요성에 공감하는 한편, 뉴스레터를 쓰는 입장에서는 생각보다 고민이 되는 작업이기도 한데요. 약간 TMI지만 몇 가지 이유가 있습니다.
🦜AI 윤리 레터에서 어떤 용어(예를 들어 공학 개념이나 정책 개념)를 다시금 정의 및 설명할지의 판단: 가급적 읽기 쉬운 글이 좋지만, 동시에 이메일이 너무 길어지는 것은 피하려 합니다. 그래서 흔히 접하지 않는 용어 위주로 부연하고 있긴 하나 그것 역시 주관적인 판단이기 때문에 고민이 남습니다. 비슷한 맥락에서, 얼마나 자세하게 또는 쉽게 설명할지의 판단도 필요합니다.
급변하는 분야에서 용어를 정리하는 일의 현실적인 어려움: 학문이자 산업으로서 AI는 변화가 잦습니다. 심지어 ‘AI’가 무엇을 가리키는지조차 끊임없이 달라지고요. 이런 조건에서 다양한 용어를 일관된 방식으로 설명하기, 예전의 용례와 최근의 용례를 연결하기, 개념을 둘러싼 맥락이 달라질 경우 설명을 갱신하기 등 실행 차원에서의 고려사항이 있습니다. 하지만 바로 이처럼 변화가 많기 때문에 더욱더 적극적인 설명 작업이 필요하다는 말도 돼서, 진퇴양난이네요 😅
적절한 외부 자료의 부족: 외부 설명을 링크하는 것도 좋겠지만 한국어로 된 적당한 자료가 매번 있는 것은 아닙니다. 있어도 너무 난해하거나 사용하기 불편한 경우도 있고요. 굳이 참조한다면 위키백과나, 여러 출처를 모아 검색할 수 있는 네이버 지식백과 같은 것을 고려할 수 있겠습니다. 한국정보통신기술협회의 정보통신용어사전은 연관용어 그래프를 제공하기도 합니다.
여러 가지 핑계를 얘기했지만, 보다 친절하고 체계적으로 이해를 돕는 자료를 만들고 싶은 마음은 아주 강하게 있습니다. 좋은 아이디어 있으면 제안해주세요.
무엇보다, 가장 손쉬운 방법이 있어요! (저희가 별다른 링크/해설을 먼저 제공하지 않더라도) 궁금한 특정 개념, 내용에 관해 질문을 남겨주시면 가능한 선에서 답변드리도록 노력하겠습니다. 독자가 궁금해하는 지점을 알면 저희에게도 도움이 되니 어렵게 생각하지 말고 연락 주세요.
📬 ㅂㄱㅎ 님이 남겨주신 의견, 2024-04-17
"AI Alignment"라는 개념은 OpenAI 가 만든 개념어는 아닌 거 같아요. (참고) PPO, RLHF 정도는 OpenAI 가 만들었다고 해도 괜찮겠지만 AI Alignment 는 약간... <행성이라는 개념은 MIT 생명공학과에서 만들었다>처럼 느껴지는 거 같아요.
Re: ㅂㄱㅎ 님께 (by 🧙♂️텍스)
제가 쓴 글에 대한 첫번째 피드백을 주신 분입니다~! 감사합니다.
오픈AI가 AI 정렬(alignment)란 개념을 유행시켰다가 조금 더 명확한 표현으로 보입니다.
오픈AI의 InstructGPT 논문에서는 딥마인드(Leike et el., 2018) 및 앤트로픽(Askell et al., 2021)의 에이전트 정렬 (Agent Alignment) 연구를 언급하며 GPT3의 정렬을 수행하기 위해서 기존 연구들(Christiano et al., 2017; Stiennon et al., 2020)에서 제안한 Reinforcement Learning From Human Feedback (RLHF)를 수행하였다고 이야기했습니다.
오픈AI의 기존 연구 성과를 보면 직접적으로 핵심 연구를 주도했다기 보다는 AI 분야의 연구 성과를 실제 프로덕트로 이끌어내는데 유능했습니다.
다만, 과거에는 프로젝트의 정보를 다양한 형태로 공개했던 오픈AI가 이제는 Closed AI가 되어서 아무 정보도 공개하지 않는다는 점에서 연구자로서 언제나 아쉬운 마음이 듭니다.
#feedback
오늘 이야기 어떠셨나요?여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.
인공지능
·