AI 윤리 뉴스 브리프

2024년 10월 셋째 주
by 🎶소소

1. 노벨 물리학상, 화학상을 휩쓴 AI 연구자들의 경고

• 올해의 노벨 물리학상, 화학상을 AI 관련 연구자들이 휩쓸었습니다. 노벨 물리학상은 AI의 기초를 확립한 딥러닝과 신경망을 개발한 제프리 힌턴, 존 홉필드를 선정했습니다. 노벨 화학상은 단백질 구조를 파악하고 예측하는 AI 모델 알파폴드를 개발한 데미스 허사비스와 존 점퍼 박사 등에게 돌아갔습니다. AI 분야 종사자로서 기쁜 마음도 있었지만, 세상이 너무 AI를 중심으로 돌아가고 있는 게 아닌가 하는 생각에 혼란스럽기도 했습니다.

• 노벨상 수상자들은 AI가 매우 유용한 도구임을 이야기하면서도, AI를 옳은 방향으로 써야 한다는 것을 강조했습니다. 특히 힌턴 교수는 수상 직후 인터뷰에서도 AI가 통제 불능 상태가 될 수 있는 위협에 대처하기 위한 방법을 연구해야 한다고 당부했는데요. 그가 말하는 미래 AI 위협이 과도한 불안감을 조성하여 오히려 저작권 침해, 저임금 노동 착취 등 현재의 문제를 과소평가한다는 비판도 받지만, 힌턴은 작년 5월 구글을 떠난 이후 계속해서 AI 위협에 대해 경고하고 있습니다.
• 이들의 경고는 노벨상의 창립자인 노벨을 떠올리게 합니다. 노벨이 개발한 안전하게 터지는 폭탄인 다이너마이트는 터널, 광산, 댐 같은 시설 건축에 유용했지만, 동시에 많은 인간을 빠르게 죽이는 전쟁 무기가 되었습니다. 이에 절망한 노벨은 다이너마이트로 축적한 재산으로 인류 복지에 이바지한 사람에게 주는 노벨상을 만들 것을 유언하고 세상을 떠났습니다. 어쩐지 노벨과 힌턴이 같은 생각을 하고 있다는 생각이 드네요.

2. 앤쓰로픽이 말하는 자애로운 은혜의 기계, AI

• 노벨 수상자 이야기로 들썩거리는 동안 앤쓰로픽(Anthropic)의 CEO 다리오 아모데이(Dario Amodei)가 AI가 앞으로 세상을 어떻게 변화시킬지에 관한 장문의 글을 썼습니다. 글 제목은 “자애로운 은혜의 기계(Machines of Loving Grace)”입니다. 앞으로 10년 이내에 등장할 강력한 AI가 생물학과 건강, 신경과학과 마음, 경제 발전과 빈곤, 평화와 거버넌스, 일과 의미에 미칠 긍정적 영향과 변화에 대한 이야기입니다.

• 저는 이 글의 도입부에서 다리오 아모데이 자신이 AI를 바라보는 성향을 해명(?)하는 대목이 참 흥미로웠습니다. 사람들이 자신을 AI 비관론자 혹은 멸망론자(Doomer)로 보는데, 사실 본인은 AI를 긍정적으로 보기 때문에 위험에 관해서도 이야기하는 것이라고 말합니다. 저는 한 번도 그가 AI 비관론자라고 생각해 본 적은 없습니다. 앤쓰로픽은 “안전한 AI”를 강조하지만, 결국 AI를 개발하고 활용하며 돈을 벌고, 엄청난 투자를 받는 기업이기 때문입니다. 그가 얼마나 많은 AI 낙관론자에게 둘러싸여 있는지를 생각해 보게 하는 대목이었습니다.
• 이 글은 오픈AI CEO 샘 올트먼이 쓴 글 “지능의 시대”를 떠오르게 합니다. 이 글에서 AI로 만드는 마법 같은 미래에 관해 이야기하고 얼마 지나지 않아 오픈AI는 66억 달러(약 8조 8,000억 원) 투자 유치 소식을 발표했는데요. 모두에게 열린 AI를 연구하는 비영리 기관으로 시작한 오픈AI는 단계적으로 완전한 영리 기업이 되어가고 있습니다. 다리오 아모데이가 머지않았다고 말하는 은혜로운 기계에도 조만간 투자 소식이 들려올 일만 남은 건 아닐까요?

3. AI 기업의 AI 안전 연구 현황

• 그렇다면 오픈AI, 앤쓰로픽, 구글은 AI의 안전한 활용을 위해 어떤 연구를 하고 있을까요? IAPS(Institute for AI Policy and Strategy)에서 세 기업의 AI 안전 연구 현황을 정리했습니다. 2022년 1월부터 2024년 7월까지 3개 기업이 발표한 AI 안전 관련 연구 논문 80편을 분류해보니 집중 연구 분야를 확인할 수 있었습니다.

• 연구 비중은 인간 선호 반영(Enhancing human feedback, 39%), 설명가능성(Mechanistic interpretability, 24%), 견고성(Robustness, 13%), 위험 평가(Safety evaluation, 11%) 순입니다. 대부분 현재의 AI 서비스의 평가 및 성능 향상과 크게 관련 있는 연구로 보입니다.
• 그러나 장밋빛 미래를 만들어 줄 강력한 AI가 의도대로 작동하지 않을 때 피해를 줄일 수 있는 관련 연구는 거의 이뤄지지 않고 있습니다. 오정렬(misalignment), 다중 에이전트 안전성(multi-agent safety), 신뢰할 수 없는 AI 관리(Controlling untrusted AIs) 관련 연구는 0건에 가깝습니다. 일부 연구는 여러 이유로 공개되지 않았을 수 있겠지만요. 아름다운 AI 이야기가 비극으로 끝나지 않기 위해서는 앞으로 어떤 AI 연구가 필요한지 살펴보는 것도 우리의 역할일 수 있겠습니다.

4. 지속가능한 AI를 위한 OECD의 지적

• AI 기업들은 AI가 기후 위기를 해결하고, 지속가능성을 만들어줄 것이라 자신합니다. 미래를 확신할 수는 없지만, 현재 분명한 것은 AI 개발과 활용에 엄청난 전기와 에너지가 사용되고 있다는 사실입니다. OECD는 데이터와 AI 규모 확장 추세에 따라 에너지 소비는 악화할 가능성이 높음을 지적했습니다. AI 학습 효율이 좋아지고 있다지만, 그 속도보다 에너지 사용량은 더 빠르게 늘고 있습니다.
• 2022년에 발간된 ‘AI가 환경에 미치는 영향’ 보고서는 AI에 사용되는 에너지와 자원 사용량을 측정하는 표준의 필요성을 제안합니다. 그러나 AI가 환경에 미치는 영향에 대한 연구는 AI 기술 발전 속도와 비교하면 거의 진전이 없는 셈입니다. 여전히 AI가 환경에 미치는 영향을 측정할 수 있는 데이터와 명확한 지표가 부족합니다. 지금과 같은 상황에서는 기업도 정부도 정보에 입각한 결정을 내리기 어렵습니다.

🦜더 읽어보기
- 우리 회사 AI는 에너지 1등급일까? (2024-05-23)

#feedback

오늘 이야기 어떠셨나요?
여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.
남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.