AI 윤리 뉴스 브리프 2024년 9월 첫째 주by 🤔어쪈 1. 딥페이크 성착취물 논의, 어디로 흘러가는가 지난주 AI 윤리 레터에서 소개한 딥페이크 성착취물 보도가 큰 반향을 일으키며 후속 논의가 한창입니다. 이 문제는 사실 이미 수차례 일어난 바 있고, 분명 우리는 더 크게 터질 것을 알고 있었습니다. 일종의 산업이라고 해도 될 만큼 규모와 체계를 갖춰나가는 모습도 경악스럽지만, 충분히 예견 가능한 일이었기에 어쩌면 그 시장의 주된 참여자와 피해자 모두 학생이라는 점 때문에 더 큰 반향을 불러일으킨 것은 아닐까 짐작해 봅니다. 지역자치단체와 정부 부처는 즉각적인 대응을 위한 피해 신고와 삭제 조치에 노력을 기울이기 시작했고, 경찰과 검찰 양 수사기관 모두 엄정한 단속과 수사, 처벌을 약속했습니다. 정치권 역시 여야를 불문하고 관련 처벌 규정을 강화하는 등의 법제도 마련 움직임을 보이고 있습니다. 텔레그램과 같은 성착취물 유통 채널이 될 수 있는 플랫폼에 대한 규제를 요구하는 목소리도 커지고 있고, 다른 한편으로는 딥페이크 탐지, AI 생성 콘텐츠 내 워터마크 삽입 등의 기술적 조치 역시 관심을 받고 있습니다. 다층적이고 복합적인 문제인만큼 관련 범죄를 근절하기 위한 다각적이고 단계적인 노력이 필요한 상황입니다. 하지만 그 과정에서 우리가 잊지 말아야 할 것은 레터에서 지적했듯 딥페이크 성착취물이 그저 AI 기술을 악용하는 일부에 의한 역효과 내지는 부작용이 아니라는 점입니다. AI 기술은 분명 이러한 문제가 보다 쉽게 발생하고 만연해지는 방향으로 발전하고 있습니다. 그럼에도 불구하고 벌써부터 불안 과장, 과잉 규제 운운하는 사람들의 목소리는 범죄 방조와 다를 바 없다고 봐야하지 않을까요? 2. 초지능 AI 규제 법안과 AI 하이프의 상관관계 지난 반년간 AI 업계에 뜨거운 논쟁을 불러일으킨 미국 캘리포니아주의 한 법안이 의회를 통과하여 주지사 서명만을 남겨두고 있습니다. 정식 명칭은 ‘프론티어 인공지능 모델법 (Frontier AI Model Act, 이하 SB1047)’으로, 일정 규모 이상의 AI 모델 개발자로 하여금 모델 학습 전 ‘비상 정지’ 기능을 도입하고 안전성 시험을 통과해야만 배포를 할 수 있도록 하는 등 미국 내 상대적으로 강력한 규제를 담고 있는 것으로 평가받고 있습니다. 법안을 둘러싼 논의를 들여다보면, 과도한 규제가 빅테크 뿐만 아니라 스타트업과 오픈소스 등에서 일어나는 혁신을 저해한다는 전형적인 비판을 넘어 생각해볼만한 논쟁 지점들이 있습니다. SB 1407이 주목하는 위험은 AI가 대량살상무기를 만들거나, 핵심 기반시설에 대한 사이버공격을 가하는 상황 등에 해당합니다. 이를 방지하기 위한 노력이 불필요하진 않겠지만 얼마나 현실적인지 의문을 제기해볼 수 있겠죠. 또한 다목적·다용도의 AI 모델에 대한 규제가 이를 활용하는 자에게 적용되어야 하는지, 아니면 AI 모델 개발자에게 적용되어야 하는지 역시 쉽게 답을 내리기 어려운 질문입니다. SB 1047의 내용은 분명 그간 초지능이 가져올 위험을 강조해 온 AI 하이프의 영향을 크게 받은 것으로 보입니다. 이러한 법안이 AI로 인해 이미 발생중인 피해를 경감하거나 방지하는 다른 어떠한 규제보다 가장 빠르게 초당적 지지를 얻었다는 점은 못내 씁쓸한 부분입니다. 하지만 앞서 던진 질문들과 더불어 AI 하이프에 열심히 바람을 불어넣고 규제가 필요하다던 기업들이 돌아서서 반대하는 목소리를 내는 모순적인 모습과 그들의 반대에도 불구하고 입법을 추진하는 주 의회의 추진력 등은 우리에게 많은 생각할 거리를 던져줍니다. 3. AI 교과서 사업이 참고해야 할 LA의 오답노트 정부가 AI 디지털교과서 사업을 계속해서 강행 추진하는만큼 역풍도 거세게 불고 있습니다. 사업 유보를 요구하는 국회 국민동의청원 참여인원이 5만명을 넘어 교육위원회에 회부되었고, 정기국회 및 국정감사를 앞두고 ‘AI 디지털교과서 중단 공동대책위원회 (이하 공대위)’가 출범하여 국회에 청문회 개최를 요구하고 있습니다. 레터에서 여러 차례 다뤘던 AI 디지털교과서의 검증되지 않은 효과성, 학생과 교사 개인정보를 포함한 교실 데이터 수집과 활용의 적절성 등이 주된 우려입니다. 한편 미국에서 두번째로 큰 공교육 관할 구역인 로스앤젤레스(LA)에서도 우리나라 AI 디지털교과서와 매우 유사한 프로그램을 도입했다가 곤혹을 치르고 있다는 소식입니다. 지난 3월 LA 통합교육구는 AI 학습 플랫폼 에드(Ed) 출범을 알리며 한국 교육부가 AI 디지털교과서 사업 추진 근거로 언급했던 것과 거의 동일한 내용을 내세웠습니다. 하지만 에드 개발을 담당한 스타트업이 수개월만에 파산하고, 데이터 유출 및 부적절한 활용에 대한 논란이 일며 모든 장점이 무색해지고 말았습니다. 약속했던 기능들 역시 제대로 구현되지 않았거나 그다지 효과가 없다는 지적입니다. LA 사례는 공대위에서 제기하는 문제들이 단순 기우가 아니라 매우 현실적인 지적임을 보여줍니다. AI가 개인화된 교육 콘텐츠를 제공하는 등 교육 일선의 문제들을 단번에 해결하는 마법의 단어처럼 여겨지곤 하지만 그런 건 각종 AI 과장 광고에서나 주장할 법한 이상적인 일입니다. 단순히 신기술 도입만으로 해결되는 문제는 하나도 없습니다. 중요한 것은 AI 기술이 아니라 교육 현장의 학생, 교사, 학부모와 같은 사람들과 교육이라는 제도 그 자체입니다. 4. AI 법이 있지만 시행까진 시간이 남아서 지난달 EU AI 법이 발효되어 조항에 따라 내년 또는 내후년 시행을 앞두고 있습니다. 최초로 AI 전 분야를 포괄하는 법안인 만큼 그 내용을 어떻게 해석할지, 또 법규 준수를 위해 무엇이 필요한지 적잖은 혼란이 예상되고 있죠. 이러한 우려를 반영하여 EU는 AI 법 적용을 준비하기 위한 자율적인 협정인 AI Pact를 준비하고 있습니다. AI Pact는 AI 개발 기업 등 법 적용 대상이 제도 이행을 준비할 수 있도록 실천 사례 등을 공유하는 네트워크를 구축하고, 이를 토대로 법적 요구 사항을 충족하는 각종 실천에 대한 자율 규제를 이끌어내는 것에 초점을 맞춥니다. 조직의 AI 거버넌스, AI 리터러시 촉진 전략 등 경영 차원의 내용부터 합법적인 AI 학습 데이터 확보 방안, AI 시스템에 대한 인적 감독 메커니즘 등 실무적인 내용까지 폭넓은 항목을 담고 있습니다. EU는 AI Pact 참여 기업을 계속해서 늘리기 위해 노력중입니다. 아직 그 목록이 공개되진 않았지만 최근 독일의 대표적인 AI 기업 알레프 알파(Aleph Alpha)가 투명성과 법률 준수를 내세운 모델을 출시한 것이 이러한 노력의 일환인 것으로 보입니다. 이러한 움직임은 입법 논의를 미루기만 하고 있는 우리나라에서도 참고해볼 수 있지 않을까요? #feedback 오늘 이야기 어떠셨나요?여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.

AI 디지털교과서 개발과 보급에 관한 기대와 우려가 공존하는 상황입니다. 오픈넷은 AI 디지털교과서 사용이 초래할 수 있는 개인정보유출 문제에 주목해 왔습니다. 아래의 논평은 지난 5월 20일 교육부가 AI 디지털교과서 적용을 위한 교사연수 준비 과정에서 교사들의 개인정보를 '실수'로 유출한 사건에 맞춰 AI 디지털교과서의 개인정보보호 대책을 촉구하기 위해 작성되었습니다.  1만명 교사 개인정보 유출한 교육부, 개인정보보호 대책 없으면 AI 디지털교과서 개발 유예해야 지난 5월 20일, 교육부 주최로 개최된 AI 디지털교과서 적용을 위한 교사연수 준비 과정에서 교육부의 실수로 연수대상자로 선정된 교사 1만 여명의 성명, 학교, 휴대폰 번호가 포함된 개인정보가 유출되는 사고가 일어났다. 방대한 양의 개인정보 수집을 필요로 하는 AI 디지털교과서 개발과 실행의 총책임을 맡고 있는 부처로서 자격미달을 스스로 증명하는 사건이다. 사단법인 오픈넷은 교육부가 AI 디지털교과서의 상용화를 개인정보보호 대책을 완비한 이후로 유예할 것을 촉구한다. AI 디지털교과서는 서책형 교과서를 디지털화한 것이 아닌 학생과 교사와 학부모가 함께 사용하는 ‘교육용 플랫폼’이다. “AI에 의한 학습 진단과 분석”을 하고 “개인별 학습 수준과 속도를 반영한 맞춤형 학습”을 제공하는 “학생의 관점에서 설계된 학습 코스웨어(Courseware, 교과과정(Course)과 소프트웨어(Software)의 합성어)”로 정의하고 있는 AI 디지털교과서는 공공(교육부와 한국교육진흥원 등)이 제공하는 AI 디지털교과서 포털과 민간(AI 디지털교과서 개발업체)이 제공하는 교과별 AI 디지털교과서 그리고 학습데이터 허브로 구성된다. 포털은 학생과 교사가 디지털교과서로 접속할 수 있는 통로이자, 학생 개인의 교과목과 시간표를 확인할 수 있는 책장이면서, 학생은 개인별 맞춤 학습 지원을 받을 수 있고 학부모는 자녀의 학습현황을 파악할 수 있고 교사가 수업을 설계하고 학생을 지도할 수 있는 통합 대시보드로 기능한다. 통합 대시보드에서 제공하는 정보는 학생이 교과서를 활용하며 학습하는 과정에서 발생하는 학습데이터를 분석한 결과물이다. 학습데이터는 학습데이터 허브로 보내져 민간 개발업체에 의해 데이터 분석과정을 거쳐 포털의 통합 대시보드로 전송된다. 디지털교과서는 학생, 학부모, 교사는 물론 민간 개발업체와 교육부, 한국교육학술정보원 등의 다양한 주체가 접근 가능한 소프트웨어 플랫폼인 것이다. 한국교육학술정보원은 2023년 발간한 「AI 디지털교과서 개발 가이드라인」(이하 가이드라인)에서 디지털교과서의 개발 방향을 “국가적 차원에서 데이터 기반의 교육 의사결정을 가능하게 하는 플랫폼의 기능을 충족함으로써 전체적인 교육의 질 향상에 기여”하는 것이라 밝히기도 했다. 플랫폼으로서 AI 디지털교과서의 핵심 구동 요건은 학생이 학습 과정 중에 생산하는 학습데이터, 즉 개인정보이다. 교과서가 수집할 학습데이터는 학습 시간, 콘텐츠 수행도, 콘텐츠 메타데이터, 학습계획 달성도, 접속시간, 형성평가 성취도, 추가 학습 진행도, 질의응답 정도, 커뮤니티 참여도, 학습 정서, 학생의 전학 등의 항목으로 구성될 것이라 가이드라인은 밝혔다. 가이드라인에 따르면 수집된 학생들의 개인정보는 1. 학생들의 학습 이해도의 특성 분석을 기반으로 현재 수준을 진단하고 개인의 능력, 목표에 맞는 적절한 학습 콘텐츠를 추천하고 학습경로를 제시하기 위한, 2. 학생들의 학습 패턴(관심사, 선호도 등) 및 수준 등을 종합적으로 분석해 적절한 학습 콘텐츠를 제시하기 위한, 3. 학생들의 개념 이해도를 높이기 위한 AI 튜터 기능을 제공하기 위한, 4. 학습 패턴 및 활동 분석으로 추가 학습 요소 등의 맞춤형 서비스를 제시하기 위한 분석 데이터로 활용된다.  디지털교과서로 수집할 학습데이터의 범위와 함께 수집은 최소한을 원칙으로 한다고 가이드라인은 밝히고 있다. 그러나 이번 교육부의 교사 개인정보 유출 사건이 벌어진 이상 AI 디지털교과서가 상용화되었을 때 발생할 수 있는 아동의 개인정보 유출 및 오남용의 가능성을 염려할 수밖에 없다. 교육환경에서 수집되는 아동의 개인정보는 디지털인권과 직결되는 문제이므로 성인의 개인정보보호보다 더 세심한 주의를 필요로 한다. 지난 3월 20일 오픈넷이 제3차 민주주의 정상회의에서 주최한 세션 “AI 디지털교과서 개발 정책의 프라이버시와 감시 이슈”에서 발제를 맡은 정현선 교수는 “AI 디지털교과서의 서비스에 포함된 정보 가운데, 특히 ‘학습 태도’, ‘관심사, 선호도’, ‘학습활동 상태’, ‘학업 정서’ 분석은 교육 환경에서 사람의 감정을 추론하는 AI 시스템을 작동하는 것으로, EU 「인공지능법」에서는 고위험(high-risk)으로 분류되는 민감 정보에 해당”하므로 취급에 각별한 주의를 기울여야 함을 지적했다. 토론을 맡았던 손주은 역시 ‘아동의 신원, 학습 활동, 위치, 의사소통, 감정, 건강, 사회적 관계에 대해 수집한 데이터는 가명화, 익명화 등의 비식별처리를 하더라도 조합을 통해 특정 아동을 정확하게 식별’할 수 있음을 지적했다. 가이드라인에 의하면 디지털교과서는 학습자(는 물론 교사와 학부모)가 디지털교과서 포털에 간편하게 로그인하기 위해 지문과 안면 이미지 역시 수집할 것으로 예상된다.  AI 디지털교과서의 상용화는 필연적으로 정부부처가 민간업체를 통해 국가의무교육의 대상인 전체 아동의 개인정보를 수집하게 될 것임을 뜻한다. 이에 따라 전문가들은 개인정보보호 감시감독 체계가 교과서의 개발과 병행해 수립되어야 하고 그 절차 역시도 투명하게 대중에게 공개되어야 한다고 조언해왔다. 정현선 교수는 위의 발제에서 ‘아동의 개인정보보호를 위한 구체적이고 실효성 있는 시행령 등 법규 마련 및 개발사에 대한 관리 감독과 규제 장치를 마련하고 시행해야’ 하고, ‘이를 위한 조사 연구, 학생과 학부모, 교사 및 일반 국민을 대상으로 한 공청회, 예산과 인력 확보가 시급히 요구’되며, ‘조사 연구와 입법 및 관리 감독은 독립적인 기관에서 시행할 수 있도록 인력 및 예산을 확보’해야 한다고 제언했다. 가이드라인은 한국교육학술정보원을 기술 점검, 기술 관리의 주체로 명시하고 있을 뿐, 구체적인 시스템(소관 부서, 업무 내용, 필수 인력의 수 등)에 관해서는 언급하고 있지 않다. 이번 교사들의 개인정보 유출 사건을 계기로 형성된 국민들의 우려를 잠식시키기 위해서라도 교육부와 한국교육학술진흥원은 디지털교과서가 수집할 개인정보 관리와 감시, 감독 체계에 대한 청사진을 미리 공개할 필요가 있다.  교육부는 AI 디지털교과서의 상용화로 그 역할에 있어 큰 전환을 맞게 될 것이다. 교육부는 개인정보처리자로서 개인정보 및 정보보안 체계를 감시감독할 책임이 있다. 학생과 교사, 학부모의 개인정보가 없이는 구현이 불가능한 AI 디지털교과서의 상용화는 학습 포털에 방대한 양의 학생과 교사, 학부모의 개인정보가 축적되고 가공, 편집 등의 처리가 불가피하다. AI 디지털교과서가 수집하는 개인정보의 양은 지금까지 교육부나 일선 학교가 그간 수집해왔던 정보의 양과 비교하지 못할 양일 것이다. 늘어나는 개인정보의 규모에 따라 교육부의 책임은 앞으로 더욱 강화되어야 것이다. 그럼에도 교육부는 미숙한 업무처리로 1만 여명에 달하는 개인교사들의 민감한 정보를 유출하고 말았다. 이 사건은 교육부가 AI 디지털교과서의 개인정보보호 체계를 감시감독할 능력이 있는가를 근본적으로 의심하게 만든다. 오픈넷은 교육부가 학교 현장을 안심시킬 수 있도록 개인정보보호의 확실한 대책을 마련하고 투명하게 공개하기 전까지 AI 디지털교과서의 개발을 유예할 것을 촉구한다. 사단법인 오픈넷2024년 6월 7일