유발 하라리는 그의 저서 ‘호모데우스’에서 인공지능에 의해 철저히 통제된 사회에 대해 이야기한다. 우선, 범용인공지능(AGI)이 아닌 특정 목적을 위해 설계된 인공지능(AI)의 목표는 설계자가 설정한 태스크(Task)에 맞는 정확한 결과를 도출하는 것이기 때문에, 인공지능이 판단을 내릴 때 개개인의 ‘인권’이나 ‘알 권리’ 같은 것들은 고려사항이 아니다. 마찬가지로 인공지능은 철저히 목적 지향적이기 때문에 기술 접근성의 양극화가 초래할 문제와 같은 사회적 공동선에 대한 개념자체가 없다. 이러한 측면에서 인공지능은 민주주의 보다는 철저한 통제와 감독으로 운영되는 독재에 최적화된 도구일지도 모른다. 출처 : Unsplash 그러나 더욱 큰 문제는 인류의 ‘방향키’를 쥐고있는 인공지능을 우리가 너무 모른다는 점이다. 방대한 양의 데이터에 기반한 언어모델의 초거대화(LLM) 트랜드를 보면 알 수 있듯이, 모델의 성능만 좋다면 사람들은 더이상 그 모델이 어떠한 프로세스를 거쳐서 결과를 도출해 냈는지 관심을 가지지 않는다. 그 결과 인공지능 개발자들의 오랜 화두였던 설명가능한 인공지능(XAI)에 대한 개념은 대중들에게 외면받고 있으며, 모델의 프로세스가 철저히 블랙박스로 남게되면서 우리는 인공지능의 작동원리를 점점 더 이해할 수 없게 되었다. 사람들은 ChatGPT가 요약해준 텍스트를 활용하여 돈버는 것에만 관심을 가질 뿐, 그것이 어떠한 원리로 나오게 된 것인지 궁금해하지 않는다.   인공지능을 어디까지 믿어야 할까? 유튜브는 개개인의 취향뿐만 아니라 비슷한 연령대, 성별, 지역 등의 사람들의 데이터를 분석하여 자신에게 최적화된 영상을 추천해준다. 한층 더 정교해진 초거대언어모델(LLM) 기반챗봇들은 상담자의 의도를 추론하고 이전 상담내용을 기억해내어 어렵지 않게 문맥을 파악하고 사람처럼 자연스러운 문장으로 문의안내를 해준다. 이처럼 추천 시스템이나 상담용 챗봇과 같은 인공지능 모델들은 우리의 삶을 편리하고 윤택하게 해주고 있다. 그러나 의료, 법률, 정치 등 다수의 삶에 중대한 영향을 끼칠 수 있는 분야에까지 인공지능이 침투했을 때, 이야기는 전혀 달라진다. 예를들어 인종, 성별, 거주지, 과거 범죄이력 등 특정 조건을 바탕으로 어떤 사람이 범죄를 저지를 것인지 예측하는 인공지능 모델이 있다고 가정해보자. 사용자인 우리는 인공지능 모델이 어떠한 데이터와 근거를 바탕으로 잠재적 범죄자를 예측했는지 알 수 없다. 이는 무죄추정의 원칙을 통해 단 한사람의 억울한 사람도 발생하게 하지 않게 하자는 법의 취지에 어긋날 뿐더러, 인간의 알 권리에 정면으로 도전하는 일이 될 수 있다. 위와같이 윤리, 도덕적인 이슈에 대한 사회적 합의가 중요한 법률이나 정치와 같은 영역에서 인공지능 도입수준은 타 영역에 비해 아직 미미한 수준이다. 그러나 국가와 정부의 역할이 모호해지고 합리성과 편의성의 측면에서 인간의 역할과 대체가능성에 대한 의문이 제기되기 시작한다면, 공공이나 정치분야에서 인공지능 보급은 시간문제일 뿐일지 모른다. 따라서 우리는 더 늦기전에 인공지능에 대한 잠재적인 위협을 인식하고 통제권을 가져오기위한 노력을 시작해야한다. 무엇보다 사회 구성원 개개인의 따라서 국민 한 사람 한 사람의 인권과 참정권 보장이 핵심인 민주주의 체제에서 살아가고 있는 우리에게 인공지능과의 공존에 대해 생각하고 논의하는 것은 생각보다 시급하고 중요한 일인지도 모른다. 그 첫걸음으로 인공지능이 어떻게 민주주의와 우리의 삶을 위험에 빠뜨릴 수 있는지 그 잠재적인 위협 요소에 대해 살펴보도록 하겠다.   1. 인공지능의 발전과정 많은 사람들이 간과하고 있는 사실이지만, 인공지능은 믿을 수 있는 기관의 감독하에 뚜렷한 목적과 방향성을 가지고 발전해 온 것이 아니다. 1956년 다트머스회의에서 존 메커시 교수에 의해 인간처럼 추론하고 문제를 풀 수 있는 인공지능의 개념이 처음으로 등장한 이후, 인공지능은 통계학과 컴퓨터과학의 힘을 빌려 발전해왔다. 이후 인공지능은 1970년대 기술적 한계에 부딪혀 빙하기를 맞게 되었다가, 은닉층(Hidden Layer)으로 XOR 문제를 해결한 딥러닝(Deep Learning)이 등장하면서 제2의 전성기를 맞게된다. 최근에 이르러서는 클라우드 컴퓨팅 기술과 GPU의 발전으로 어마어마한 양의 데이터를 저장하고 분석하는 것이 가능하게 되면서 이미지, 텍스트, 음성뿐 아니라 생성AI에 이르기까지 다방면에서 활용되게 된다. 이러한 발전과정에서 훈련 데이터를 활용한 지도학습(Supervised Learning)뿐 아니라 대량의 빅데이터(Big Data) 속에서 인간이 발견해 내지 못한 특성과 패턴을 찾아내는 비지도 학습(Unsupervised Learning)과 보상을 통해 스스로 패턴을 찾아내게 유도하는 강화학습(Reinforece Learning)에 이르기까지 다양한 테크닉이 등장한다. 문제는 이러한 인공지능 기술의 발전이 ‘스스로 학습하고 판단하는 기계’를 만들고 활용하고자 하는 인간의 욕망을 반영할 뿐, 작동 프로세스와 그것이 초래할 영향력에 대한 충분한 숙고 없이 이루어져왔다는 점이다. 이러한 인공지능의 발전과정은 다음에 살펴볼 ‘블랙박스 모델’이라는 문제를 만들어냈다.   2. 블랙박스모델과 설명가능한 AI(Explainable AI) 인공지능은 인간과는 비교가 되지 않는 방대한 양의 데이터를 학습하고 그 속에서 스스로 패턴을 찾아낸다. 생물학계에서 수십년에 걸쳐 연구해온 난제인 단백질 분자구조에 대해서도 인공지능은 분석과 예측이 가능하다. 다만, 우리는 그러한 결과가 어떠한 프로세스를 걸쳐서 도출되었는지 알 방법이 없다. 인공지능이 수억개의 매개변수와 인공신경망(ANN)을 거쳐서 만들어낸 프로세스는 인간의 이해범위를 넘어서기 때문이다. 이처럼 프로세스가 철저히 베일에 쌓인 인공지능 모델을 블랙박스 모델(Blackbox Model)이라고 한다. 블랙박스 모델의 계산 프로세스를 이해하려는 시도는 마치 황금알을 낳는 거위의 뱃속에 무엇이 들었는지 알아보기 위해 거위의 배를 가르는 것과 같다. 데이터가 기하급수적으로 늘어나고 컴퓨팅 파워가 과거와 비교도 되지 않게 발전한 요즘, 우리가 일상에서 마주하는 모델은 대부분 이 블랙박스 모델에 해당한다. 이에 대비되는 개념으로 입력값으로 들어간 변수가 분석과정과 결과에 어떻게 영향을 미치는지 유추해볼 수 있는 모델을 설명가능한 AI(Explainable AI)모델이라고 한다. 정치, 법률, 의료 등 민감하고 중요한 분야에 인공지능을 도입하고 활용하기 전에 우리는 일부라도 ‘설명가능한’ 인공지능 모델을 활용하려는 노력을 할 필요가 있다.   3. 데이터의 편향 대부분의 인공지능 모델 개발은 훈련과 검증 그리고 테스트라는 과정을 거친다. 방대한 데이터 속에서 인간의 개입없이 인공지능이 스스로 패턴과 유사성을 찾아내는 비지도학습(Unsupervised Learning) 모델도 존재하지만, 지도학습(Supervised Learning)과 강화학습(Reinforcement Learning)에는 여전히 인간의 개입이 필요하다. 이는 훈련 데이터의 레이블링(Labeling)과 선정이라는 면에서 ‘인간의 편향(Human Bias)가 인공지능에 반영될 위험이 여전히 존재함을 뜻한다. 예를들어 미국과 같은 다인종, 다문화 국가에서는 필연적으로 한 사회의 대다수를 차지하는 주류인종(Majority) 에 대한 데이터가 소수인종(Minority)에 대한 데이터보다 많을 수밖에 없다. 이러한 편향은 고스란히 인공지능의 학습결과에 반영되어, 주류인종에 유리한 결과만을 도출하게 될 수 있다. 즉 우리는 또다른 인공지능 인종차별자(AI Racist)를 탄생시킬 수 있는 위험을 가지게 되는 것이다.