AI 행정,
피해자 개인이 아니라 공동체가 대응하려면?
by. 🍊산디
지난달 보내드렸던 레터 중 하나에서 이런 내용을 다루었었습니다. 인도의 지역 정부에 도입된 AI가 멀쩡히 살아 있는 할아버지를 사망한 사람이라고 판단했고, 그 결과 복지 혜택을 받을 수 없게 되었을 뿐만 아니라, 여러 차례 반복된 문제제기에도 상황이 개선되지 않았다는 이야기였죠.
이미 소개했던 내용을 다시 언급하는 것은 한 구독자분이 이런 댓글을 달아 주셨기 때문입니다. 요약 소개합니다.
💌 AI 행정에 오류가 있다고 추정하고 AI 행정의 무오류를 주장하는 쪽에 입증책임을 지게 하는 것은 타당하기는 하지만, 자칫 행정 효율을 너무 떨어트리지 않을까요? 행정기관에게 광범위한 협조의무(정보제공, 자료제공, 공개) 이행을 할 것을 의무화하거나, 행정쟁송에 한정된 디스커버리 제도 같은 것을 논의해볼 수 있지 않을까 합니다. *디스커버리(discovery) 제도 : 당사자나 제3자로 하여금 소송과 관련이 있는 정보의 개시를 강제하는 절차.
행정 효율이 저하될 것이라는 우려에 과연 그럴 수 있겠다 싶습니다. 하지만 행정효율 저하를 감수하며 협조의무, 입증책임 등을 부여한다고 해도 이로써 시민의 권리를 지킬 수 있게 되었다고 평할 수 있을지 모르겠습니다. 한 시민이 행정기관에게 책임을 입증하라고 요구했다고 해볼까요. AI 서비스를 구매할 때 기업으로부터 받았던 알고리즘 성능 평가 결과를 시민, 법원 등에 제출함으로써 책임을 다했다고 주장하는 행정기관의 모습이 저는 아주 선명히 그려집니다.
Photo by Beatriz Pérez Moya on Unsplash
고민을 이어가다보니 보다 중요한 문제는 ‘주권 아웃소싱’에 있는 게 아닐까 싶습니다. 주권 아웃소싱은 행정기관에게 대리하도록 맡긴 시민의 주권이 다시 민간 기관에게 아웃소싱되는 현상입니다. 공적 서비스를 민간 기업이 제공하도록 위임해서 발생하죠. 구체적으로는 이런 문제들이 등장합니다.
- 복대리인 관계로 책임의 연쇄가 길어지고 모호해집니다. 행정이 기업의 AI 서비스에 의존하게 되면서 본래 시민과 행정 간 주인-대리인 관계가 더욱 … 늘어지게 되는 거죠. 대리인을 두 번, 세 번 거치면서 행정기관의 책임 소재는 흐려질 수 있습니다.
- AI 행정에 대한 공론화가 일정 부분 제한됩니다. 기업이 판매하는 AI 서비스를 행정기관이 구매한 것에 불과하기 때문이죠. 행정기관은 해당 서비스의 세부 내용을 알지 못하고, 시민은 AI모델의 상세 내용에 접근하지 못할 수 있습니다.
- AI 서비스를 제공하는 기업과 행정기관 간 유착이 발생할 우려가 있습니다. 특히 ‘소버린 AI’를 외치며 AI의 발전을 곧 국가 주권으로 이해하는 담론 아래에서는 더욱 그렇죠. 천문학적인 개발 비용으로 인해 파운데이션 모델을 가진 기업은 소수로 국한될 것으로 예상되고, 우리는 시장 권력과 정치 권력이 유착될 가능성을 염두에 두어야 합니다.
현재의 AI 시장과 위와 같은 문제 발생 가능성을 고려했을 때, AI 행정이 도입되기 위해서는 정말 많은 제도적 대비가 필요합니다. 구독자님이 제안해주신 행정기관에게 자료제출 협조 의무를 부과하는 방안, 행정쟁송에 한정한 디스커버리 제도의 도입도 검토해볼 법한 제안이라고 생각해요.
한편 더 많은 정보가 과연 시민의 권리 보호에 도움이 될 수 있을까 하는 생각도 듭니다. AI 모델에 대해 아무리 많은 정보가 주어진다 한들, 일부 전문가만 그것을 해석할 수 있을테니까요. AI 행정의 오류를 시민 개인이 시정해야 하는 상황을 상상해보세요. 많은 시간과 비용, 전문 지식이 필요해 금방 포기하게 되지 않을까요.
AI 행정이 개선되기 위해서는 공동체가 함께 대응할 수 있는 적극적인 방법이 필요합니다. 그런 까닭에 저는 이번 월요일에 소개해드렸던 🦜독립적인 AI 평가에 대한 면책 조항에 대한 논의가 더 활발히 이루어지길 기대합니다. 개인이 아닌 시민과 전문가가 집단으로서 공동체를 보호할 수 있도록 돕는 제도적 방안이기 때문입니다. 벨기에가 윤리적 해커를 보호하는 제도적 장치를 마련한 것과도 유사하죠.
혼자서는 싸움을 시작할 자신도, 이길 자신도 없지만 함께 싸우는 거라면 해볼법 하지 않을까요? AI 모델을 논의하고 평가하는 공동 작업이 활성화되려면 무엇이 필요할까요?
Gemini야 정답을 말해줘
by. 🥨 채원
지난 브리프에서 구글의 챗봇 서비스 제미니(Gemini)가 휩싸였던 논란을 소개해 드렸습니다. 제미니에서 생성되는 이미지가 다양성을 반영하기 위해 지나치게 ‘편향되어’ 있다는 비판에 대해 구글은 즉시 사과하고 해당 기능의 서비스를 잠시 중단하는 과감한 결정을 내렸습니다. 이러한 대응에 일부 학자들은 이전 흑인의 과소 대표가 문제 됐을 때 상대적으로 안일했던 대처와 극명하게 대조된다며 비판하기도 하였습니다.
제미니가 생성하는 이미지 중 특히 백인 남성으로 구성되어있었던 미국 ‘건국의 아버지’를 그려 달라는 요청에 흑인과 아메리카 원주민을 생성한 것이나, 교황에 대한 이미지로 흑인 여성 이미지를 생성한 경우가 특히 이러한 잘못의 예시로 자주 언급되었습니다. 이러한 제미니의 ‘실수’가 지나치게 다양성을 추구하려는 정치적 올바름의 폐해에 기인한다는 것은, 기존에 실리콘 밸리가 지나치게 진보적이라는 일부 미국 보수 정치인들의 비판과도 맞닿아 있기에 특히나 큰 논란에 휩싸였던 것으로 보입니다.
그렇다면 제미니가 생성하는 이미지가 역사적이고 현실적인 사실에 부합하지 않는다는 것이 문제일까요? 언뜻 보기에는 제미니가 정답이 있는 문제에 답을 틀린 것 같지만, 조금 더 자세히 들여다보면 명백한 오류를 정의하기가 어렵다는 것을 깨닫게 됩니다. 미국 건국의 아버지라든가 교황의 경우 비교적 정답이 있는 문제라고 할 수 있겠지만 (’비교적’이라고 제한한 경우는, 역사적 인물에 대한 평가 또한 역사에 따라 달라질 수도 있기 때문입니다. 건국의 아버지라고 평가되던 인물의 숨겨진 행적이 드러나 역사적 평가가 뒤바뀌는 경우를 한국에서도 어렵지 않게 찾아볼 수 있으니까요), 이렇게 정답이 있는 질문은 많지 않습니다. ‘행복한 가정’이나 ‘맛있는 점심’은 어떻게 표현하는 것이 정답일까요?
CEO로 검색했을 때에 비해 검색 키워드를 추가하면 여전히 편향된 이미지를 보여준다는 연구
그리고 생성형AI가 사실관계에 취약하다는 것은 챗지피티를 비롯한 많은 서비스에서 이미 지적되었습니다. 그러나 대부분의 서비스가 이를 문제 삼아 서비스 자체를 중단하지는 않았습니다. 당당하게(?) 생성형 AI는 실수할 수 있고 사실 관계가 어긋날 수 있다는 작은 글씨의 경고문구를 삽입하는 정도의 대처가 대부분이었습니다. 그렇다면 제미니에 대한 비판도 사실 관계를 틀렸다는 것이 아닌, 정치적 올바름을 ‘지나치게’ 추구했다는 점에 방점이 찍힌 것으로 해석할 수 있습니다. 사실 이러한 비판은 CEO나 의사와 같은 전문직을 검색했을 때 백인 남성이 과다 대표되는 것이 그저 현실을 반영한 것일 뿐이므로 문제되지 않는다고 옹호하던 입장과 정확히 일치합니다.
검색 결과가 현실을 그대로 묘사하는 것이 왜 문제일까요? 이는 현실은 역사적인 차별을 반영한 결과이기 때문입니다. 역사적 차별의 결과로 이루어진 현실을 그대로 묘사하는 것은, 이 현실을 있게 한 역사적 차별을 그대로 반복하고 강화하는 결과를 낳게 됩니다. 의사가 대부분 남성으로 구성되어 있으므로 검색 결과에서 남성만 보여주는 것은 의사가 곧 남성이라는 고정관념을 강화하고, 이는 고정관념에 부합하지 않는 경우를 배제하고 과소평가 하는 것으로 이어집니다. 따라서 많은 검색엔진들은 이러한 고정관념을 추가적으로 조정하여 다양성을 표현하는 방향으로 발전해 왔습니다. 그리고 이러한 변화를 만들어내는 것은 대표성과 권력, 즉 정치의 문제입니다.
많은 이들에게 생성형 AI가 매력적으로 다가오는 것은 복잡한 질문에도 간단하고 쉽게 답해주기 때문입니다. 그러나 복잡한 현실을 단순화하다 보면 누락되고 왜곡되는 부분이 생길 수 밖에 없고, 이러한 ‘왜곡’의 방향은 생성형 AI를 개발하는 사람들이 결정한 정책에 따르게 됩니다. 그리고 이러한 정책에 목소리를 실을 수 있는가의 여부에 따라 어떠한 목소리가 생성형 AI를 통해 대표될 것인가가 결정될 것입니다. 무엇이 정답인지, 나아가 누가 어떤 질문을 할 수 있는지를 정하는 것은 늘 정치적 투쟁의 한가운데에 있어왔습니다. 우리가 제미니에 물어볼 수 있는 질문이 어떤 것인지, 제미니가 어떤 대답을 만들 것인지는 결국 구글의 결정에 달려있다는 것이 지금의 권력이 어디에 존재하는지 보여줍니다.
오늘 이야기 어떠셨나요? 여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.
남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.
코멘트
2인도 사례 저도 흥미롭게 봤는데요. 독자와 소통하는 방식으로 적히니 흥미롭네요. 조금 지나간 이슈같긴 한데 오픈AI의 샘 올트먼이 중동 부호의 거대 투자를 받아 반도체 산업에 뛰어들 것이라는 이야기가 있었는데요. 반도체와 인공지능의 기술적 맥락은 많이 다뤄진 것 같은데요. 이 투자를 기후위기, 인공지능 윤리 차원에서 어떻게 봐야하는지는 잘 다뤄지지 않는 것 같네요. 혹시 이 내용도 다루실 예정에 있는지 궁금합니다.
공론화 과정에서 ai를 사용하자는 주장을 본적이 있는데요. 그 주장의 근거는 사람들끼리 답도 나오지 않는 대화를 하는게 비효율적이니 효율적으로 답을 찾기 위해 ai를 사용하자는 것이었습니다. 의사결정과 논의를 위해 사용하는건 효율적일 수 있겠지만, 결정을 위임하는건 위험하다는 생각이 드네요.