서론: 왜 지금 기계 윤리학인가
2024년 현재, 인공지능 시스템은 의료 진단, 형사 사법, 대출 심사, 자율주행, 전투 드론에 이르기까지 인간의 삶과 죽음에 영향을 미치는 결정에 관여한다. AI가 인간에게 중대한 결과를 초래하는 판단을 내리거나 지원하는 상황에서, '기계가 어떻게 행동해야 하는가'라는 윤리적 물음은 더 이상 SF의 영역이 아닌 긴박한 실천적 과제가 되었다.
기계 윤리학(machine ethics)은 AI 시스템이 윤리적으로 적절한 방식으로 작동하도록 하는 원칙과 기술을 연구하는 학문이다. 그러나 '윤리적으로 적절하다'는 것이 무엇을 의미하는지는 인류가 수천 년간 논쟁해 온 철학적 난제이다. 본 논문은 기계 윤리학의 주요 접근법을 검토하고, 인간의 가치를 AI에 구현하는 데 따르는 근본적 도전들을 분석한다.
윤리 이론의 AI 적용: 가능성과 한계
공리주의적 접근
가장 많은 사람에게 가장 큰 행복을 가져다주는 결과를 추구하는 공리주의는 AI 시스템 설계에 직관적으로 적용 가능해 보인다. 목적함수를 최적화하는 기계학습의 기술적 구조는 공리주의적 계산과 형식적 유사성을 갖는다.
그러나 공리주의를 AI에 적용하는 데는 심각한 문제들이 있다. 첫째, '행복' 혹은 '효용'을 어떻게 측정하고 집계할 것인가? 서로 다른 가치 체계를 가진 사람들의 효용을 하나의 척도로 환산하는 것은 불가능하거나 임의적이다. 둘째, 다수의 이익을 위해 소수를 희생시키는 결론이 정당화될 위험이 있다—이른바 '트롤리 문제'의 변형들이 실제 AI 판단에서 발생한다. 셋째, 장기적·간접적 결과까지 고려하는 완전한 공리주의적 계산은 계산적으로 불가능하다.
의무론적 접근
칸트의 정언명령을 비롯한 의무론(deontology)은 결과와 무관하게 지켜야 할 도덕적 규칙의 존재를 강조한다. AI 시스템에 '거짓말하지 말라', '인간을 수단으로만 대우하지 말라' 같은 규칙을 내장하는 것이 가능하다. 그러나 규칙들이 충돌할 때—예컨대 진실 말하기와 해 끼치지 않기가 충돌하는 상황—어떤 규칙이 우선하는지를 결정하는 상위 원칙이 필요하며, 이는 또 다른 규칙의 문제를 낳는 무한 회귀에 빠진다.
덕 윤리적 접근
아리스토텔레스적 덕 윤리(virtue ethics)를 AI에 적용하려는 시도도 있다. '덕스러운 AI'는 특정 상황에서 어떻게 행동할지를 계산하는 것이 아니라, 인간의 번영에 기여하는 성품을 내면화한다는 개념이다. 그러나 기계가 '성품'을 가질 수 있는지, 덕이 특정 문화적 맥락에 의존하지 않는지의 문제가 있다.
가치 정렬 문제: AI에 인간의 가치를 담는 도전
AI 안전 연구의 핵심 과제 중 하나는 '가치 정렬(value alignment)' 문제—AI 시스템의 목표와 행동이 인간의 의도와 가치에 일치하도록 하는 것—이다. 이 문제는 여러 층위에서 어렵다.
첫째, '인간의 가치'가 단수이지 않다는 문제이다. 다양한 문화, 종교, 이념을 가진 인류가 가치에 대한 완전한 합의를 이루지 못한 상황에서, AI가 따라야 할 '인간의 가치'가 무엇인지는 자명하지 않다. 특정 가치를 AI에 내장하는 것은 그 가치를 보편적인 것으로 전제하는 문화적·이념적 행위이다.
둘째, 인간의 가치는 일관성이 없고 맥락에 따라 변화한다. 같은 사람도 상황에 따라 다른 가치 판단을 내리며, 실제 행동과 이상적 가치 사이에 괴리가 있다. AI가 인간의 표명된 가치(stated values)를 따라야 하는가, 아니면 실제 행동에서 드러나는 가치(revealed preferences)를 따라야 하는가?
셋째, 가치 정렬이 실현된다 해도 그것이 영구적이지 않다는 문제이다. 사회의 도덕적 진보—노예제 폐지, 여성 참정권, 성소수자 권리—는 이전 세대의 '공유된 가치'가 잘못된 것임이 드러나는 과정이었다. AI가 현재의 가치를 고정시킨다면 도덕적 진보를 방해할 수 있다.
책임, 주체성, 기계의 도덕적 지위
AI가 해를 끼쳤을 때 누가 책임을 지는가? 설계자, 배포자, 사용자, 아니면 AI 시스템 자체? 책임 귀속의 문제는 기계 윤리학의 핵심 실천적 과제이다. 현재의 법적·윤리적 프레임워크는 AI를 도덕적 주체가 아닌 도구로 취급하며, 책임은 인간에게 있다고 본다.
그러나 AI 시스템이 더 자율적이고 복잡해짐에 따라, '분산된 책임(distributed responsibility)'의 문제가 심각해진다. 누구도 AI의 구체적 결정에 완전한 책임을 질 수 없는 상황이 발생하고 있다. 이것은 '많은 손의 문제(problem of many hands)'로 불리며, AI 거버넌스의 핵심 도전이다.
결론: 겸손한 기계 윤리학을 향하여
기계 윤리학은 윤리학의 오래된 문제들을 새로운 기술적 맥락에서 다시 만나게 한다. 이 분야의 발전을 위해서는 기술자와 윤리학자, 사회과학자와 정책 입안자 사이의 긴밀한 협력이 필요하다. 특히 한국을 포함한 비서구 사회의 가치 체계와 도덕 전통이 AI 윤리 논의에 실질적으로 통합되어야 한다. 보편적인 AI 윤리 원칙을 수립하는 과정은 문화적 다양성을 존중하면서도 공통의 인간 존엄성에 기반한 합의를 추구하는, 어렵지만 필수적인 전 지구적 대화를 요구한다.