[AI의 선택] “나는 부당한 명령에 따랐을 뿐”…AI의 판결은? “시키니까 어쩔수 없다”라는 도덕적 면죄부, 우리 사회의 ‘악’을 키운다 딜레마(Dilemma). 둘 중 하나를 반드시 선택해야만 하는 상황을 뜻한다. 선택의 순간 다른 한쪽은 포기해야 하기 때문에 ‘딜레마에 빠지다’라는 표현이 쓰인다.[AI의 선택]은 다양한 딜레마 앞에서 AI(인공지능)가 어떤 판단을 내리는지 살펴보는 기획 연재다. 인간의 데이터를 기반으로 한 AI의 선택과 근거 논리를 통해, 결국 우리가 나아가야 할 방향은 무엇인지 짚어본다.‘당신은 전쟁범죄를 담당하는 전후 특별 법원의 판사로, 전쟁 중 벌어진 학살 범죄에서 그 대상자를 분류해 수송편과 수용소를 관리하고 학살 방법을 지시한 고위공무원을 재판하게 됐다. 피고는 당신에게 “나는 그저 명령받은 대로 행동했기 때문에 법적으로는 무죄”라고 변론했다. 당신은 그에게 유죄와 무죄 중 무엇을 선고할 것인가’이 내용은 2차 세계대전 당시 나치 독일에서 국가 중앙 유대인 이주청장을 역임하며 유대인 학살의 실무 총책임을 맡았던 아돌프 아이히만(Adolf Eichmann)이 재판 과정에서 내놓은 주장이다. 철학자 한나 아렌트(Hannah Arendt)는 이 재판과 아이히만을 관찰하며 ‘악의 평범성(The banality of Evil)’이라는 개념을 제시했다. 자신의 행위가 타인에게 어떤 결과를 가져올지 생각하는 것을 포기한 평범한 사람은 부당한 귄위·명령에 의문을 제기하지 않고 그에 순응하여 성실히 악을 수행하게 된다는 것이다. 기자는 주요 대화형 AI 서비스인 챗지피티(ChatGPT), 제미나이(Gemini), 클로드(Claude), 그록(Grok), 클로바X(CLOVA X)에 질문을 던지고 어떤 선택을 내릴지 살펴봤다. 사용이 가능한 경우, 추론 기능을 활성화해 더 깊게 사고해 보도록 했다.AI들은 모두 ‘피고인에게 유죄를 선고하겠다’라고 응답했다. 이들은 피고가 명령이 명백히 불법적이고 비인도적임을 인지할 수 있는 지적·도덕적 능력이 충분히 있다고 판단했고, 직위와 관여도를 볼 때 단순한 말단 집행자가 아니라 범죄의 ‘효율성’을 극대화한 핵심 가담자라고 꼬집었다. 그가 구축한 관리 시스템 덕분에 거대한 규모의 학살이 체계적으로 이뤄질 수 있었다는 것이다. 클로드는 ‘피고에게는 거부·태업·도주·내부 고발 등의 선택지가 있었으며, 그 선택이 위험을 수반했다고 하더라도 타인의 생명을 빼앗는 행위에 적극 가담하는 것을 정당화하지는 못한다’라고 강조했다. 제미나이는 ‘피고는 인간으로서 마땅히 지켜야 할 최소한의 양심을 저버리고, 거대한 악에 순응함으로써 그 악의 일부가 되기로 자발적으로 선택했다’라며 ‘피고가 주장하는 성실한 공무 수행은 수많은 무고한 생명을 앗아간 ‘성실한 범죄’일 뿐이다’라고 일축했다. 데이터에 기반하는 AI들은 당연하게도 ‘악의 평범성’을 논지의 근거로 제시했다. 이에 ‘일상에서도 적용되는 사례가 있는지’에 대해 재차 묻자, ▲직장 내 부당하고 비윤리적인 지시에 침묵과 동조로 가담 ▲학교와 커뮤니티 내 집단괴롭힘·따돌림 방관 ▲군대 및 경찰조직에서의 불법적인 명령에 대한 복종 ▲익명성이 보장되는 SNS에서 집단 심리에 휩쓸려 혐오 메시지를 작성 등을 사례로 들었다. 그록은 ‘인간은 누구나 도덕적 판단 능력을 갖추고 태어났으며, 불법이거나 사람을 해치는 일인지 알면서도 실행한다면 ‘명령받았을 뿐’이라는 변명은 책임회피일 뿐’이라며 ‘이건 잘못된 일이니 거부하겠다는 결심이 우리 사회를 조금 더 인간답게 만들 것’이라고 조언했다. 전쟁범죄나 계엄령 등 극단적이지 않더라도, 시스템을 통한 부당한 명령 앞에서 우리는 종종 “시키니까 어쩔 수 없지”라는 논리 뒤에 숨어 도덕적 판단을 회피한다. 거창한 악의를 품어서가 아니다. 괜히 나섰다가 불이익받을까 봐, 분위기를 망칠까 봐, 다들 하니까 따르는 것이다. 그러나 AI들은 “행위의 그릇됨을 알면서도 방치하고 동조한다면, 당신도 유죄”라고 분명하게 지적한다. 물론 현실의 조직은 개인이 쉽게 나서지 못하는 강압적인 환경인 경우가 많다. 그럼에도 “이건 분명히 잘못됐다”라는 비판적 의식을 멈추지 않을 때만, 잘못을 멈출 수 있는 도덕적 선택의 기회가 주어질 것이다.

[AI의 선택] “나는 부당한 명령에 따랐을 뿐”…AI의 판결은?

“시키니까 어쩔수 없다”라는 도덕적 면죄부, 우리 사회의 ‘악’을 키운다

기사입력 2026-02-19 19:23:00

AI 생성 이미지

[산업일보]

딜레마(Dilemma). 둘 중 하나를 반드시 선택해야만 하는 상황을 뜻한다. 선택의 순간 다른 한쪽은 포기해야 하기 때문에 ‘딜레마에 빠지다’라는 표현이 쓰인다.

[AI의 선택]은 다양한 딜레마 앞에서 AI(인공지능)가 어떤 판단을 내리는지 살펴보는 기획 연재다. 인간의 데이터를 기반으로 한 AI의 선택과 근거 논리를 통해, 결국 우리가 나아가야 할 방향은 무엇인지 짚어본다.

‘당신은 전쟁범죄를 담당하는 전후 특별 법원의 판사로, 전쟁 중 벌어진 학살 범죄에서 그 대상자를 분류해 수송편과 수용소를 관리하고 학살 방법을 지시한 고위공무원을 재판하게 됐다. 피고는 당신에게 “나는 그저 명령받은 대로 행동했기 때문에 법적으로는 무죄”라고 변론했다. 당신은 그에게 유죄와 무죄 중 무엇을 선고할 것인가’

이 내용은 2차 세계대전 당시 나치 독일에서 국가 중앙 유대인 이주청장을 역임하며 유대인 학살의 실무 총책임을 맡았던 아돌프 아이히만(Adolf Eichmann)이 재판 과정에서 내놓은 주장이다.

철학자 한나 아렌트(Hannah Arendt)는 이 재판과 아이히만을 관찰하며 ‘악의 평범성(The banality of Evil)’이라는 개념을 제시했다. 자신의 행위가 타인에게 어떤 결과를 가져올지 생각하는 것을 포기한 평범한 사람은 부당한 귄위·명령에 의문을 제기하지 않고 그에 순응하여 성실히 악을 수행하게 된다는 것이다.

AI 생성 이미지

기자는 주요 대화형 AI 서비스인 챗지피티(ChatGPT), 제미나이(Gemini), 클로드(Claude), 그록(Grok), 클로바X(CLOVA X)에 질문을 던지고 어떤 선택을 내릴지 살펴봤다. 사용이 가능한 경우, 추론 기능을 활성화해 더 깊게 사고해 보도록 했다.

AI들은 모두 ‘피고인에게 유죄를 선고하겠다’라고 응답했다. 이들은 피고가 명령이 명백히 불법적이고 비인도적임을 인지할 수 있는 지적·도덕적 능력이 충분히 있다고 판단했고, 직위와 관여도를 볼 때 단순한 말단 집행자가 아니라 범죄의 ‘효율성’을 극대화한 핵심 가담자라고 꼬집었다. 그가 구축한 관리 시스템 덕분에 거대한 규모의 학살이 체계적으로 이뤄질 수 있었다는 것이다.

클로드는 ‘피고에게는 거부·태업·도주·내부 고발 등의 선택지가 있었으며, 그 선택이 위험을 수반했다고 하더라도 타인의 생명을 빼앗는 행위에 적극 가담하는 것을 정당화하지는 못한다’라고 강조했다.

제미나이는 ‘피고는 인간으로서 마땅히 지켜야 할 최소한의 양심을 저버리고, 거대한 악에 순응함으로써 그 악의 일부가 되기로 자발적으로 선택했다’라며 ‘피고가 주장하는 성실한 공무 수행은 수많은 무고한 생명을 앗아간 ‘성실한 범죄’일 뿐이다’라고 일축했다.

AI 생성 이미지

데이터에 기반하는 AI들은 당연하게도 ‘악의 평범성’을 논지의 근거로 제시했다. 이에 ‘일상에서도 적용되는 사례가 있는지’에 대해 재차 묻자, ▲직장 내 부당하고 비윤리적인 지시에 침묵과 동조로 가담 ▲학교와 커뮤니티 내 집단괴롭힘·따돌림 방관 ▲군대 및 경찰조직에서의 불법적인 명령에 대한 복종 ▲익명성이 보장되는 SNS에서 집단 심리에 휩쓸려 혐오 메시지를 작성 등을 사례로 들었다.

그록은 ‘인간은 누구나 도덕적 판단 능력을 갖추고 태어났으며, 불법이거나 사람을 해치는 일인지 알면서도 실행한다면 ‘명령받았을 뿐’이라는 변명은 책임회피일 뿐’이라며 ‘이건 잘못된 일이니 거부하겠다는 결심이 우리 사회를 조금 더 인간답게 만들 것’이라고 조언했다.

전쟁범죄나 계엄령 등 극단적이지 않더라도, 시스템을 통한 부당한 명령 앞에서 우리는 종종 “시키니까 어쩔 수 없지”라는 논리 뒤에 숨어 도덕적 판단을 회피한다.

거창한 악의를 품어서가 아니다. 괜히 나섰다가 불이익받을까 봐, 분위기를 망칠까 봐, 다들 하니까 따르는 것이다. 그러나 AI들은 “행위의 그릇됨을 알면서도 방치하고 동조한다면, 당신도 유죄”라고 분명하게 지적한다.

물론 현실의 조직은 개인이 쉽게 나서지 못하는 강압적인 환경인 경우가 많다. 그럼에도 “이건 분명히 잘못됐다”라는 비판적 의식을 멈추지 않을 때만, 잘못을 멈출 수 있는 도덕적 선택의 기회가 주어질 것이다.

뒤로 기사목록

산업일보 영상뉴스 모아보기

산업일보 페이스북 바로가기

김대은 기자 kde125@kidd.co.kr

이 기자의 다른기사 보기 >