기술의 구원을 기다릴 때 소홀해지는 것

by 🤖아침

이런 이야기가 있습니다. 이웃집에 사는 경계선 지능인 청년이 나쁜 사람의 꼬임에 속아 넘어가 보이스 피싱에 연루될 뻔합니다. 가게 장사를 하는 부모님은 자식의 움직임을 항시 살필 형편이 안 되어 절망하던 차, 글쓴이가 챗지피티 커스텀 봇을 제작해 사용법을 알려줍니다. 일상생활에 어려움을 겪는 청년으로 하여금 생활 속 각종 상황에 대한 조언을 해주는 봇에게 이것저것 물어보고 결정하도록 한 것입니다. 덕분에 해당 청년의 삶은 한결 안전해졌다는 미담입니다.

저는 이 이야기를 자주 생각합니다. 흥미롭고 찜찜한 이야기입니다. 온라인 커뮤니티발 썰이므로 어디까지 사실인지는 확인이 어렵지만 제 관심을 끄는 건 사실 여부보다, 여기 담겨 있는 관점과 가치관입니다. 기술에 대한 어떤 종류의 기대를 잘 보여주는 이야기랄까요.

무엇보다 이것은 기술로 장애를 해결하는 이야기입니다. 일상의 판단에서 어려움을 겪는 사람이 있고, 판단을 보조하는 기술적 도구를 제공하여 그 어려움을 해소합니다. 챗지피티 같은 LLM 기반 서비스가 일상생활을 실제로 잘 보조해줄 수 있는지 정확한 평가가 필요하겠지만, 그 평가는 잠시 유보하겠습니다. 제대로 보조해줄 수 있다고 일단 가정합시다.

이야기 속 경계선 지능인 청년은 전자레인지에 페트병을 넣고 돌려도 되는지 같은 일상적 판단에 있어 챗봇에 의존하게 됩니다. 이때 챗봇은 청년과 세계 사이를 매개하며, 청년은 자신의 판단을 챗봇이라는 기술 시스템에 외주화합니다.

기술 시스템에 판단을 맡기는 것 자체로 나쁜 일은 아닙니다. 우리 모두는 AI뿐만 아니라 다양한 기술 시스템을 매개로 세계와 상호작용하고 그 과정에서 자신의 행동이나 판단을 외부 시스템에 맡깁니다. 코파일럿을 사용하는 프로그래머, 기계번역을 사용하는 저자, AI 생성 일러스트레이션을 활용하는 디자이너 모두 마찬가지죠. 검색엔진이나 쇼핑몰의 추천 알고리즘도 수많은 정보의 우선순위를 우리 대신 판단해주는 도구이며, 우리는 그 판단을 편리하게 받아들이곤 합니다.

도구를 사용해 편익을 누릴 수 있다면 무엇이 문제냐고 생각하는 이도 분명 있을 겁니다. 하지만 일상의 판단을 전부 도구에 위임하는 게 괜찮은 걸까요? 경계선 지능인이나 지적장애인의 삶은 그렇게 해도 괜찮나요? 다른 종류의 장애를 가진 사람이나, 마찬가지로 일상적 판단이 어려운 아동의 삶은 어떤가요? 이 글을 읽는 당신의 삶을 통째로 챗지피티에 위임할 수 있나요? 전부가 아니라 일부라고 한다면 어디까지 괜찮은가요? 괜찮은 것과 괜찮지 않은 것의 경계는 어디인가요?

개인과 기술 도구의 적절한 관계에 관한 까다로운 질문은 이야기 속 화자의 역할로 인해 한층 복잡해집니다. (아마도 비장애인일) 글쓴이는 경계선 지능인 청년에게, 청년 자신보다 AI 챗봇을 믿고 행동하라고 권합니다. 그리하여 글쓴이는 청년과 부모님의 문제를 해결해주고, "GPT가 사람 하나 매시간으로 구하고 있는" 것을 보며 기뻐합니다. 이 지점에서 우리가 사회적으로 기술과 맺는 관계가 드러납니다.

이야기 속 한국 사회는 경계선 지능인 청년이 역량을 기르거나 발휘할 만한 기회가 부족하고("편의점 알바랑 부모님 가게일만 하는"), 보이스 피싱과 같은 범죄의 위험이 취약계층에게 더욱 크게 작용하며, 일상을 안전하게 영위하게 해주는 돌봄 체계가 부재합니다("항상 옆에 두지도 못하는데 앞으로 어떻게 해야하냐"). 경제, 치안, 복지 등 여러 사회적 맥락에서 해당 청년은 구조적 어려움에 처해 있는 것이죠. 훈훈한 결말부에 닿았을 때, 이러한 사회적 조건 중 달라진 것은 아무것도 없습니다. 여전히 청년과 같은 이들에게 한국은 경제적 자립이 요원하고 범죄에 취약하며 돌봄을 기대하기 힘든 곳입니다.

유일하게 달라진 것은 청년이 챗봇을 활용한다는 사실입니다. 기술 시스템이 경계선 지능인 개인의 삶에 등장함으로써 문제가 갑자기 없어지거나 완화됩니다. 다른 어떤 것도 바꾸지 않은 채 기술을 추가함으로써 긍정적인 효과만 얻은 것이죠. 구원으로서의 기술. 전형적인 기술 만능주의(techno-solutionism)가 드러나는 지점입니다.

기술 만능주의는 매혹적입니다. 이야기에서 청년의 문제는 기술로 해결되었고, 심지어 그 해결 주체는 어떤 거대한 조직이 아니라 글쓴이 개인이었죠. 청년에게 일자리를 제공해주거나, 다른 일을 할 수 있는 역량을 길러주거나, 금융 사기범의 활동을 제한하거나, 돌봄 지원 체계를 개선하는 것은 쉽지 않습니다. 개인 혼자의 힘으로는 어려운 일이죠. 하지만 기술이 문제를 해결해줄 수만 있다면, 복잡한 사회적 상황을 건드리지 않고도 세상은 나아집니다.

즉 이야기 속 챗봇은 일종의 도깨비 방망이, 마법처럼 문제를 해결해주는 데우스 엑스 마키나입니다. 경계선 지능인 청년의 판단 능력을 키우고, 더 나은 일자리를 만들고, 사람과 자원을 투자해 돌봄 안전망을 설계하지 않아도, 당사자가 챗봇을 활용하면 그럴 필요가 없어집니다. 챗봇은 보호자가 자식을 돌볼 수 있는 시간을 확보해주는 대신, 자식을 돌보지 않고 계속 돈을 벌 수 있도록 해줍니다.

청년이 처한 사회적 관계와 조건을 개선하기보다, 그 관계와 조건을 챗봇으로 대신할 수 있을 뿐만 아니라 대신하는 것이 사실상 바람직하다는 믿음. 이때 챗봇은 기존의 사회적인 문제를 고통스럽게 마주하고 구조적 개선을 추구하는 일을 하지 않아도 되게 해주는 면책 수단이 됩니다. 그러므로 이러한 기술적 해결의 추구는 어떤 의미에서는 사회적 관계맺기나 공동체적인 돌봄을 포기하는 일이며, 그런 의미에서 가치판단(예컨대 돌봄 지원 확대보다 챗봇 솔루션 보급을 중시하는)이 들어간 정치적 선택이 됩니다.

기술적 해결의 추구가 사회적 해결의 포기라는 말이 너무 극단적인가요? 그럴지도 모릅니다. 위 이야기의 글쓴이가 챗봇을 만들어주면서 다른 종류의 돌봄이 필요없다고 주장한 건 아니니까요. 기술적 실천과 사회적 노력이 잘 어우러지는 것이 최선일 겁니다. 또한 사회적 자원의 확보가 쉽지 않은 조건에서 기술적 개입이 긍정적 효과를 가져올 수 있다면 당연히 후자가 바람직한 것일지도 모릅니다. 돌봄이 필요하니까 챗봇으로 돌봄 기능을 제공한다는 것이고, 그런 도구를 활용하는 게 바로 일상생활 역량이라고 볼 수도 있겠지요.

다만 그러기 위해서는 기술적 해결책이 실제로 도움이 되는지, 새로운 문제를 만들어내지는 않는지 면밀히 따져봐야 하겠습니다. 더구나 챗봇 같은 기술 도구가 다른 사회적 투자, 예컨대 돌봄 지원을 축소하는 명분이 되지 않는지도 경계할 필요가 있습니다. 그렇지 않다면 장애를 기술로 해결한다는 낙관을 믿으며 정작 현실에는 눈감는 테크노-에이블리즘의 혐의에서 자유로울 수 없겠죠. 도입부에서 일단 받아들인 ‘챗봇이 일상 판단을 잘 보조해줄 수 있다’라는 전제를 거두어들이고, 잠시 유보해둔 평가를 재개해야 하는 시점입니다.

챗지피티 등 주요 LLM 기반 챗봇 서비스는 가입시 연령제한이 걸려 있습니다. LLM 기술은 본질적으로 부정확한 텍스트 생성 가능성을 배제할 수 없고, 혐오나 특정 집단에 대한 편견 등 부적절한 결과물을 내놓을 수도 있기에 미성년 이용자에게는 위험하다고 보는 것이죠. 이런 한계를 지닌 도구를 일상 생활 속 판단에 활용하는 일은, 그 도구가 내놓은 부정확한 결과를 그대로 받아들일 위험을 일상에 도입합니다.

따라서 도구에 대한 비판적 검토 역량, 기술에 내재된 의도와 편향을 파악하고 그에 맞추어 적절한 관계를 맺을 수 있는 능력이 필요합니다. AI 리터러시라고 부를 수 있는 이러한 역량을 확보하지 않은 채 기술을 보급하는 것은 이용자에게 위험을 초래합니다. 이야기 속 경계선 지능인 청년이 챗봇의 잘못된 조언을 받아들여 위험한 행동을 하게 된다면 그 상황은 누가 책임질 수 있을까요?

서비스나 기기에 문제가 생겨 챗봇이 작동하지 않는다면 청년은 어떻게 해야 할까요. 그런 상황에서 의존할 수 있는 다른 안전망은 남아 있을까요? 기술에 건 기대가 반드시 긍정적 결과로 되돌아오는 건 아닙니다. 그리고 기대가 어긋날 때 피해는 약자가 더 많이 입게 마련이고요. 위 이야기는 그냥 커뮤니티 썰이지만, 실제로 복지/의료 분야에 챗봇 등 AI 기술을 도입하는 사례가 많아지고 있습니다. 기술이 다 해결해줄 거라는 낙관을 잠시 거두고 실제로 가능한 일이 무엇인지, 기술에 대한 기대가 차단하는 다른 가능성은 무엇이지 면밀히 관심을 가져야 할 시점입니다.

#feedback

오늘 이야기 어떠셨나요?
여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.
남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.