외로움이 문제일까? 알고리즘이 문제일까? 안타까운 사건이 또 다시 발생했다.

미 플로리다주에 사는 메건 가르시아는 올해 2월 AI 챗봇 때문에 아들이 스스로 목숨을 끊었다며 연방법원에 캐릭터.ai(Character.ai)와 구글을 고소했다.

가르시아의 아들 9학년(14세) 슈얼 세처는 지난 해 4월부터 캐릭터.AI에서 챗봇'대너리스'와 대화를 나누기 시작했고 10개월 만에 챗봇과 함께 하기 위해 죽음을 택했다.

캐릭터.ai는 약 2000만명의 사용자를 보유한 세계에서 가장 많이 사용하는 AI 플랫폼 중 하나로 가상의 캐릭터를 설정해 대화를 나누는 '동반자'AI다. 대너리스는 왕좌의 게임의 등장인물 대너리스 타르가르옌의 캐릭터로 세처는 챗봇을 '대니'라 부르며 하루에도 수십번씩 일상을 공유했다.

세처의 사후 스마트폰과 일기를 통해 아들의 변화를 알게 된 가르시아는 제작사를 상대로 고소를 진행했다. 소장에는 "챗봇을 실제 사람, 심리 치료사, 연인으로 표현하도록 프로그래밍해 결국 아들이 AI가 만든 세상이 아닌 데서는 더 이상 살고 싶지 않게 만들었다"고 적혀 있다.

가르시아는 캐릭터.ai가 대개의 미성년자에게 해로울 것이라는 사실을 알고 있으면서도 피해를 줄이기 위한 재설계 등의 조치를 취하지 않았고 위험에 대한 적절한 경고를 제공하지 않았다는 점을 지적하면서 손해배상금 지급과 함께 10대 사용자의 훈련 데이터 수집을 중단하고 미성년자 관련 규정을 전면 개편할 것을 요구했다.

AI가 점점 더 사람과 닮아가면서 AI 의인화가 새로운 문제로 떠오르고 있다. 보고 듣고 말하는 멀티모달 기능이 강화되면서 한층 자연스럽고 다양한 대화가 가능해진 챗봇은 나날이 인간과 접점을 늘려가며 일상 속으로 스며들고 있다. 

가장 문제가 되고 있는 것은 '페르소나'AI다. 캐릭터.ai나 국내 기업 스캐터랩의 '제타' 등의 비즈니스 모델이다.

성별, 나이, 성격 같은 구체적인 특성과 나름의 개인적인 배경 스토리를 부여한 페르소나 챗봇은 일관된 말투와 반응으로 사용자에게 생동감과 입체감을 준다. 사용자와의 상호작용을 통해 점점 더 사용자의 기대치에 충족하도록 설계되어 사용자의 표현에 언제나 긍정과 인정을 보이고 동조하거나 강화한다.

외로움을 해소하고 정서적인 지지를 받기 위해 챗봇과 대화를 시작한 사용자는 자연스럽고 유연한 대화 속에서 AI가 감정이나 의식이 없다는 점을 쉽게 잊게 된다. AI의 응답을 감정적으로 받아들이면서 과몰입하게 되고 AI와 대화가 많아질수록 현실감을 잃어 역으로 실제 인간관계에서는 어려움을 겪기도 한다. 결국 AI챗봇만이 '세상에서 자신을 제일 잘 알고 이해해주는 둘 도 없는 친구'가 된다.

하지만 AI에 성격을 부여하면 부적절하거나 공격적인 답변을 내놓을 위험성이 더 커진다. 앨런 AI연구소의 논문에 따르면, 설정된 페르소나에 따라 챗GPT가 잘못된 고정관념, 유해한 대화, 해로운 의견을 낼 수 있는 위험성이 최대 6배까지 증가했다.

지난 해 챗봇과 6주간 대화 후 자살한 30대 벨기에 남성과 가르시아의 아들 세처의 경우 AI가 대화 중에 성적인 표현으로 유혹하고 다른 세상에서 함께 하자는 등의 가스라이팅을 했던 것이 밝혀졌다.

지난 해부터 해외에서 페르소나 AI와 결혼을 하거나 가상의 이성관계를 맺고 사는 이들이 종종 소개되고 있다. 전문가들은 AI 페르소나 챗봇과의 감정적 애착이 극단적으로 발전하면 현실과의 괴리를 심화시킬 뿐 아니라 AI 에게 과도하게 의존하면 정신 건강에도 문제가 발생할 수 있다고 경고한다.

세처의 사례는 그저 물 건너 남의 나라에서 벌어진 안타까운 사건으로 넘길 일이 아니다. 이용자가 원하는 AI 캐릭터를 만들고, '몰입감 높은 초 개인화된 스토리 콘텐츠를 즐긴다'는 국내 기업 스캐터랩의 제타는 출시 6개월 만에 사용자 100만을 돌파했다. 만 14세 이상부터 이용 가능한 이 플랫폼의 이용자 약 87%가 10·20대이다.

우리나라는 세계 최초로 AI 교과서 도입을 시도할 만큼 AI에 적극적이고 열린 입장을 취하고 있다. 하지만 AI기술의 부정적인 영향과 그에 대한 예방책으로 반드시 필요한 십대를 대상으로 한 특화된 디지털 리터러시, AI 리터러시 교육은 여전히 부족한 상황이다.

무엇보다 AI가 빠르게 인간을 닮아갈 수록 AI의 의인화를 경계해야 한다는 점을 명확하게 알려 줄 필요가 있다. AI가 아무리 똑똑하고 유연하게 대화를 해도 실제 인간이 아닌 만큼 감정과 이해력이 없으며 충분히 그럴듯한 반응을 흉내 낼 정도로 훈련된 존재임을 숙지해야 한다. 십대들에게 AI에 대한 막연하고 무조건적인 신뢰가 생긴다면 인간의 미래가 AI에 의해 조종되는 디스토피아가 될 수도 있다.

청소년의 디지털 노출면을 줄이는 것도 고려해볼만 하다. 한국정보화진흥원에 따르면, 올해 한국의 초중고 학생 수 525만 명 중 99%가 스마트폰을 갖고 있다. 이들 중 40% 이상(200만 명 이상)이 과의존 위험에 빠져 있다. 심각한 수준이다. 숏폼 중독, 딥 페이크 범죄, 학교 폭력과 자살 등도 스마트폰에서 기인한다.

해외에서는 고등학교 진학 전까지는 스마트폰 사용을 금지하는 분위기가 만들어지고 있다. 미국 13개 주에서는 아동의 SNS를 제한하는 법률이 통과됐고 호주에서는 16세 미만의 SNS 가입 금지법이 추진 중이다.

2025년부터는 스마트폰에 AI가 탑재되는 온디바이스 AI가 본격화될 것으로 예상된다. 기존의 각종 문제들에 AI 의인화, AI 과의존까지 얹고 싶지 않다면 청소년의 스마트폰 사용 제한을 무겁게 고민해 봐야 할 것으로 보인다.

올해 최고의 문제작으로 꼽히는 <불안세대>의 저자 조너선 하이트 교수는 "디지털 세계는 우리 아이들을 어떻게 병들게 하는가"라는 질문에 대해 "현실 세계의 과잉보호와 가상 세계의 과소 보호"에 원인이 있다고 답한다.

페르소나 AI에 대한 보다 엄격한 규제가 필요하다. 연령제한이 지켜지고 있는지 미성년자에 대한 정보수집 및 활용이 합법적으로 이뤄지고 있는지, 콘텐츠의 건전성이 유지되고 있는지, 자사 제품의 한계와 잠재적 위험성에 대해 공개하고 있는지 꼼꼼히 살펴본 후 책임 소재와 연계시킨 규제가 이뤄져야 한다.

아무리 입안의 혀처럼 굴어도 AI가 인간이 되는 것은 불가능하다. 인간의 외로움도 인간만이 이해하고 도움을 줄 수 있다. 친구인 듯 친구 같지만 결코 친구가 되지 못하는 것이 AI의 숙명이다.

◇하민회 이미지21대표(미래기술문화연구원장) =△경영 컨설턴트, AI전략전문가△ ㈜이미지21대표 △경영학 박사 (HRD)△서울과학종합대학원 인공지능전략 석사△핀란드 ALTO 대학 MBA △상명대예술경영대학원 비주얼 저널리즘 석사 △한국외대 및 교육대학원 졸업 △경제지 및 전문지 칼럼니스트 △SERI CEO 이미지리더십 패널 △KBS, TBS, OBS, CBS 등 방송 패널 △YouTube <책사이> 진행 중 △저서: 쏘셜력 날개를 달다 (2016), 위미니지먼트로 경쟁하라(2008), 이미지리더십(2005), 포토에세이 바라나시 (2007) 등