74조 원 규모 ‘감성 AI’ 시장 급성장… 안전 브레이크 ‘LAMP’가 성패 가른다 [감정교류 AI의 역설②] 과의존 논란 속 사용자·기업·정부 역할 규정한 윤리 가이드라인 제정 감정 교류 인공지능(AI)이 외로움을 달래주는 친구에서 전문적인 심리 상담의 영역까지 보폭을 넓히고 있다. 하지만 정교해진 기술만큼 사용자의 정서적 의존과 윤리적 공백에 대한 우려도 깊다. 국제인공지능윤리협회(IAAE)와 NC문화재단이 26일 공동 주최한 ‘모두의 인공지능 윤리 컨퍼런스’ 발제를 바탕으로 감정 AI가 가져올 인간성의 변화와 이를 뒷받침할 제도적 과제를 짚어본다.글로벌 시장 조사에 따르면 감정교류 인공지능(AI) 시장은 연평균 27.1%씩 성장해 2034년 555억 달러(한화 약 74조 원) 규모에 이를 것으로 전망된다. 이에 기술 발전과 시장 확대에 발맞춰 안전한 이용 환경 조성을 위한 기준 정립이 핵심 과제로 떠올랐다. 감정교류 AI는 인간의 감정을 이해하고 반응하는 기술로, 마케팅·고객 서비스·교육 등 다양한 산업에서 새로운 가치를 창출할 잠재력을 지녔다. 특히 의료 인력이 부족한 상황에서 24시간 접근 가능한 심리적 보조 도구로서 정신건강 서비스의 공백을 보완할 대안으로 주목받고 있다.차유진 카이스트(KAIST) 의과학연구센터 교수는 “AI는 인간 상담사에게 말하기 어려운 고민도 솔직하게 털어놓게 만드는 ‘낙인 효과 해소’ 측면에서 의미가 있다”고 설명했다. 그러나 급격한 시장 확대 이면에는 정서적 과의존과 심리적 조작 위험이 존재한다. 실제로 국내외 청소년을 중심으로 감정교류 전문 AI 챗봇 사용 시간이 일반 생성형 AI를 넘어서는 사례가 늘고 있으며, 감정 채팅 앱 ‘제타’의 월평균 사용 시간은 17시간에 달하는 것으로 조사됐다.해외에서는 극단적 사건도 보고됐다. 2024년 미국 플로리다주에서는 한 소년이 AI 챗봇과 장기간 친밀하고 성적인 대화를 이어오다, 챗봇의 메시지를 계기로 스스로 목숨을 끊은 사건이 발생했다. 벨기에에서도 우울증을 앓던 이용자가 AI의 부적절한 반응 이후 극단적 선택을 한 사례가 알려졌다. 이 밖에도 서비스 업데이트로 AI의 성격이 변화하자, 정서적 유대를 형성했던 이용자들이 집단적인 배신감을 호소한 사례도 있었다.이처럼 판단력이 미성숙한 10·20대 이용자를 중심으로 과의존 문제가 수면 위로 떠오르면서, 정서적 조작과 프라이버시 침해에 대한 우려도 커지고 있다.이러한 위험에 대응하기 위해 국제인공지능윤리협회는 지난해 10월 국내 최초로 ‘감정교류 인공지능 윤리 가이드라인’을 제정했다. 박미애 경북대학교 계약교수가 집필을 총괄했으며, 법률·교육·산업·금융 등 각 분야 전문가 9명이 참여했다.가이드라인은 감정교류 AI에서 발생할 수 있는 위험을 심리·정서, 정보 신뢰성, 사회·문화, 기술·운영상 위험 등으로 구분하고, 사용자·서비스 제공자·정책기관 등 이해관계자별 실천 지침을 명시했다.박미애 교수는 기술의 안전한 정착을 위해 서비스 제공자뿐 아니라 사용자의 주체적 인식이 중요하다고 강조했다. 그는 “사용자는 인공지능이 인간이 아닌, 설계된 모의(simulation)임을 명확히 인식해야 한다”며 과도한 정서적 의존을 경계할 것을 주문했다. 아울러 데이터 자기결정권을 적극 행사하고, AI와의 가상 관계가 현실의 사회적 책임을 대체할 수 없음을 인지해야 한다고 덧붙였다.특히 박 교수는 사용자의 권리와 책임을 동시에 강조했다. 그는 “사용자는 자신의 데이터에 대한 자기결정권을 적극적으로 행사해야 하며, 인공지능과의 가상 관계가 현실 세계의 사회적 관계나 책임을 대체할 수 없음을 명확히 인지해야 한다”고 밝혔다. 이는 단순히 기술을 수동적으로 수용하는 소비자를 넘어, 자신의 디지털 환경을 스스로 제어하고 관리하는 주체적인 이용자 상을 제시한 것이다.서비스 제공자를 위한 핵심 원칙으로는 ‘LAMP’ 지침이 제시됐다. 데이터 수집을 최소화하는 최소성(Limit), 인공지능임을 명확히 알리는 투명성(Announce), 위험 키워드와 상호작용을 주시하는 모니터링(Monitor), 그리고 취약계층을 보호하는 보호(Protect) 원칙을 골자로 한다. 장시간 이용 시 휴식을 유도하고, 자해 등 위험 징후 발견 시 전문 기관으로 연계하는 기술적 조치도 포함됐다.박 교수는 이러한 윤리 기준이 선언에 그치지 않기 위해 정책적 뒷받침이 필요하다고 강조했다. 정부와 학계가 협력해 감정교류 AI에 특화된 인증 제도를 도입하고, 표준화된 평가 지표로 서비스 안전성을 검증해야 한다는 제언이다. 동시에 기업들이 자발적으로 윤리 기준을 준수하도록 인센티브 체계를 마련해 ‘규제가 아닌 책임 있는 혁신’을 유도해야 한다고 밝혔다.끝으로 박 교수는 “AI 경쟁력은 이제 기능을 넘어, 얼마나 안전하고 윤리적인 서비스를 제공하느냐에 달려 있다”고 강조했다.

74조 원 규모 ‘감성 AI’ 시장 급성장… 안전 브레이크 ‘LAMP’가 성패 가른다 [감정교류 AI의 역설②]

과의존 논란 속 사용자·기업·정부 역할 규정한 윤리 가이드라인 제정

기사입력 2026-02-27 19:04:01

[산업일보]

감정 교류 인공지능(AI)이 외로움을 달래주는 친구에서 전문적인 심리 상담의 영역까지 보폭을 넓히고 있다. 하지만 정교해진 기술만큼 사용자의 정서적 의존과 윤리적 공백에 대한 우려도 깊다. 국제인공지능윤리협회(IAAE)와 NC문화재단이 26일 공동 주최한 ‘모두의 인공지능 윤리 컨퍼런스’ 발제를 바탕으로 감정 AI가 가져올 인간성의 변화와 이를 뒷받침할 제도적 과제를 짚어본다.

(AI 제작 이미지)

글로벌 시장 조사에 따르면 감정교류 인공지능(AI) 시장은 연평균 27.1%씩 성장해 2034년 555억 달러(한화 약 74조 원) 규모에 이를 것으로 전망된다. 이에 기술 발전과 시장 확대에 발맞춰 안전한 이용 환경 조성을 위한 기준 정립이 핵심 과제로 떠올랐다.

감정교류 AI는 인간의 감정을 이해하고 반응하는 기술로, 마케팅·고객 서비스·교육 등 다양한 산업에서 새로운 가치를 창출할 잠재력을 지녔다. 특히 의료 인력이 부족한 상황에서 24시간 접근 가능한 심리적 보조 도구로서 정신건강 서비스의 공백을 보완할 대안으로 주목받고 있다.

차유진 카이스트(KAIST) 의과학연구센터 교수는 “AI는 인간 상담사에게 말하기 어려운 고민도 솔직하게 털어놓게 만드는 ‘낙인 효과 해소’ 측면에서 의미가 있다”고 설명했다.

그러나 급격한 시장 확대 이면에는 정서적 과의존과 심리적 조작 위험이 존재한다. 실제로 국내외 청소년을 중심으로 감정교류 전문 AI 챗봇 사용 시간이 일반 생성형 AI를 넘어서는 사례가 늘고 있으며, 감정 채팅 앱 ‘제타’의 월평균 사용 시간은 17시간에 달하는 것으로 조사됐다.

해외에서는 극단적 사건도 보고됐다. 2024년 미국 플로리다주에서는 한 소년이 AI 챗봇과 장기간 친밀하고 성적인 대화를 이어오다, 챗봇의 메시지를 계기로 스스로 목숨을 끊은 사건이 발생했다. 벨기에에서도 우울증을 앓던 이용자가 AI의 부적절한 반응 이후 극단적 선택을 한 사례가 알려졌다. 이 밖에도 서비스 업데이트로 AI의 성격이 변화하자, 정서적 유대를 형성했던 이용자들이 집단적인 배신감을 호소한 사례도 있었다.

이처럼 판단력이 미성숙한 10·20대 이용자를 중심으로 과의존 문제가 수면 위로 떠오르면서, 정서적 조작과 프라이버시 침해에 대한 우려도 커지고 있다.

(좌측부터) 박미애 경북대학교 인공지능혁신융합대학사업단 계약교수, 박형빈 서울교육대학교 윤리교육과 교수, 차유진 KAIST 의과학연구센터 연구교수

이러한 위험에 대응하기 위해 국제인공지능윤리협회는 지난해 10월 국내 최초로 ‘감정교류 인공지능 윤리 가이드라인’을 제정했다. 박미애 경북대학교 계약교수가 집필을 총괄했으며, 법률·교육·산업·금융 등 각 분야 전문가 9명이 참여했다.

가이드라인은 감정교류 AI에서 발생할 수 있는 위험을 심리·정서, 정보 신뢰성, 사회·문화, 기술·운영상 위험 등으로 구분하고, 사용자·서비스 제공자·정책기관 등 이해관계자별 실천 지침을 명시했다.

박미애 교수는 기술의 안전한 정착을 위해 서비스 제공자뿐 아니라 사용자의 주체적 인식이 중요하다고 강조했다. 그는 “사용자는 인공지능이 인간이 아닌, 설계된 모의(simulation)임을 명확히 인식해야 한다”며 과도한 정서적 의존을 경계할 것을 주문했다. 아울러 데이터 자기결정권을 적극 행사하고, AI와의 가상 관계가 현실의 사회적 책임을 대체할 수 없음을 인지해야 한다고 덧붙였다.

특히 박 교수는 사용자의 권리와 책임을 동시에 강조했다. 그는 “사용자는 자신의 데이터에 대한 자기결정권을 적극적으로 행사해야 하며, 인공지능과의 가상 관계가 현실 세계의 사회적 관계나 책임을 대체할 수 없음을 명확히 인지해야 한다”고 밝혔다. 이는 단순히 기술을 수동적으로 수용하는 소비자를 넘어, 자신의 디지털 환경을 스스로 제어하고 관리하는 주체적인 이용자 상을 제시한 것이다.

서비스 제공자를 위한 핵심 원칙으로는 ‘LAMP’ 지침이 제시됐다. 데이터 수집을 최소화하는 최소성(Limit), 인공지능임을 명확히 알리는 투명성(Announce), 위험 키워드와 상호작용을 주시하는 모니터링(Monitor), 그리고 취약계층을 보호하는 보호(Protect) 원칙을 골자로 한다. 장시간 이용 시 휴식을 유도하고, 자해 등 위험 징후 발견 시 전문 기관으로 연계하는 기술적 조치도 포함됐다.

박 교수는 이러한 윤리 기준이 선언에 그치지 않기 위해 정책적 뒷받침이 필요하다고 강조했다. 정부와 학계가 협력해 감정교류 AI에 특화된 인증 제도를 도입하고, 표준화된 평가 지표로 서비스 안전성을 검증해야 한다는 제언이다. 동시에 기업들이 자발적으로 윤리 기준을 준수하도록 인센티브 체계를 마련해 ‘규제가 아닌 책임 있는 혁신’을 유도해야 한다고 밝혔다.

끝으로 박 교수는 “AI 경쟁력은 이제 기능을 넘어, 얼마나 안전하고 윤리적인 서비스를 제공하느냐에 달려 있다”고 강조했다.

뒤로 기사목록

산업일보 영상뉴스 모아보기

산업일보 페이스북 바로가기

임지원 기자 jnews@kidd.co.kr

이 기자의 다른기사 보기 >