AI 윤리 뉴스 브리프

2024년 10월 첫째 주
by 🍊산디

1. 미스코리아의 자질

• 처음 이미지를 보았을 때 허위정보일 거라 생각했습니다.
• 딥페이크 성착취물로 인한 피해가 명백히 존재하고, 형사 수사와 소송이 진행 중이며, 이를 예방하기 위한 입법까지 이루어지는 와중에 이런 일이 발생했다는 사실이 참담합니다. 미스코리아는 도대체 어떤 여성을 선발하는 자리입니까? 성범죄 목적으로 활용되는 기술마저도 밝게 웃으며 괜찮다고 이야기해주는 아름다움을 기대했던 건가요?
• 주최측은 사과와 함께 “인공지능(AI) 기술이 영화, 광고, 교육 등에 광범위하게 활용되는 세태에 대한 생각을 듣기 위해 질문을 제시한 것”이라고 해명했습니다. 그런 취지의 질문이었다면 🦜AI 윤리 레터가 매 주 쏟아내는 질문들을 활용하셨다면 좋았을 텐데요.

🦜 더 읽어보기
- 산업화하는 딥페이크 성착취물(2024-08-26)
- 딥페이크 성착취물 논의, 어디로 흘러가는가(2024-09-02)
- 사진 내리기 말고 할 수 있는 일: AI 기업에 요구하기(2024-09-04)
- 정말로 대안이 없을까?(2024-09-11)

2. 떠나는 리더십, ‘비영리단체’ 오픈AI는 없다

• 오픈AI의 핵심 인물 중 하나인 미라 무라티 최고기술책임자(CTO)가 회사를 떠납니다. 이유는 알려지지 않았습니다. 무라티는 샘 올트먼 축출 당시 임시 CEO를 맡으며 그의 복귀를 지지한 것으로 유명하죠. 동영상 생성 모델 ‘소라’의 학습 데이터를 묻는 질문에 ‘모른다’고 답하며 바이럴을 탔던 인물이기도 합니다. 그의 이탈 소식에 회사 직원들은 ‘WTF(이게 뭐야!)’ 이모지를 공유했다고 하네요.
• 미라 무라티의 이탈은 오픈AI가 수익 사업체로 개편하고 샘 올트먼에게 7%의 지분 제공하기 위한 투자금 유치 마무리 단계에서 이루어졌습니다. 7%의 지분의 경제적 가치는 105억 달러로 추정됩니다.
• 오픈AI는 창립과 함께 비영리단체로서의 기업 구조를 자신들의 신뢰가능성을 입증하는 증거로 언급해 왔습니다. 하지만 마이크로소프트로부터 투자금을 끌어들이기 위해 2019년에는 영리부문을 만들더니, 이제는 투자자의 이익 상한선을 ‘소급적으로’ 폐지하면서 비영리 사업에 들어가던 돈까지 영리적 목적으로 활용하려는 모습입니다. 이로써 재정적 이익보다 인류의 이익을 앞세우겠다는 창립 당시 비전은 사라진 듯 하네요.

3. AI 디지털교과서, 왜 비판을 막나요?

• 내년부터 초등 3~4학년, 중1, 고1 영어, 수학, 정보 과목에 도입된다는 AI 디지털교과서. 그 중 정보, 수학 과목 AI디지털교과서 발행사의 다수가 검정심사에서 탈락했습니다. 검정심사를 통과한 교과서는 5개월 여 간 현장 적합성 검토를 거치게 됩니다.
• 언론 보도는 수십억을 투자하였으나 검정에 탈락하면서 내년 심사를 기약해야 하는 기업들의 처지에 집중합니다. 기업들이 교육부를 믿고 투자한 돈을 모두 날리게 되었다는 것이죠. 소수의 기업이 먼저 교과서 사업에 진출하는 데 대한 독과점 우려도 함께 제시합니다.
• 기업의 투자와 무관하게 교과서의 품질은 타협할 수 있는 성질의 것이 아닙니다. AI 디지털교과서의 필요성과 품질을 걱정하는 사람들의 목소리는 어디서 들을 수 있을까요?
• 서울시교육청은 전교조의 ‘AI 디지털교과서 도입 중단 촉구’ 주장이 중앙정부 확인 결과 허위임이 확인되었다며 수사를 의뢰하겠다고 했습니다. 정책 비판과 ‘허위’의 경계를 구분지을 수 있을까요.
• 자녀가 초중고교생인 학부모를 대상 AI 디지털교과서에 대해 물은 설문조사에서 응답자의 1/3은 AI 디지털교과서를 ‘들어본적도 없다’고 답했습니다. AI 디지털교과서에 대한 비판적 토론은 더욱 장려되어야 합니다. 진위를 밝히는 것은 토론이지 입막음이 아닙니다. 이번에도 형사 소송은 반론을 막는 수단이 되어버리는 것일까요.

4. AI 오용과 개발자의 책임

• 이전 🦜레터에서 소개드렸던 것처럼, 지난 8월 29일, 미국 캘리포니아 주 의회는 AI 규제 법안인 '안전하고 신뢰할 수 있는 최첨단 인공지능 모델을 위한 혁신법(SB 1047)'을 통과시켰습니다. 주지사 승인 단계만을 남겨둔 상태입니다.
• 개발자에게는 AI 모델 전 생애주기동안 발생할 수 있는 위험을 방지하기 위한 ‘합리적인 주의(reasonable care)’를 담은 프로토콜을 서면으로 만들어 보관하고, 주 법무장관이 그 원본에 접근할 수 있도록 공개할 의무가 부여됩니다. 이외에도 필요 시 모델을 중단할 수 있는 ‘킬 스위치’ 기능 개발, 모델의 변조를 방지하기 위한 안전조치 의무 등이 ‘개발자’에게 부과됩니다.
• 해당 법안은 개발자를 수범자로 합니다. '개발자(developer)'란 특정 모델의 초기 훈련을 수행하는 사람으로, 충분한 양의 컴퓨팅 파워와 비용을 사용하여 모델을 훈련하거나, 기존 모델 또는 파생 모델을 파인튜닝(fine-tuning)하는 데 있어 법이 정한 양보다 더 많은 컴퓨팅 파워와 비용을 사용한 자를 뜻합니다. 개발자가 개발한 모델뿐만 아니라 이를 토대로 파생된 모델 또한 개발자의 책임 범위에 포함됩니다.
• 이는 AI 모델을 복사하여, 파인튜닝이 아닌, 사후적인 수정 훈련을 가한 파생 모델(derivative)로 인해 위험이 발생했어도 최초 AI 모델의 개발자에게 책임을 묻겠다는 의미입니다.
• AI가 매개된 위험 발생 시 책임소재를 묻기 어려운 ‘책임 공백’이 발생할 것이라는 우려의 목소리가 존재합니다. 다른 한편 이러한 입법 움직임이 연구자, 오픈소스 커뮤니티의 AI 모델 개발을 저해할 것이라는 비판도 존재합니다. 하지만 법이 정한 기준 즉, 1억 달러 이상의 연산비용을 감당할 수 있는 개발자는 오픈AI와 같은 극소수에 불과할 것 같네요.

🦜더 읽어보기
- 초지능 AI 규제 법안과 AI 하이프의 상관관계 (2024-09-02)

#feedback

오늘 이야기 어떠셨나요?
여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.
남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.