AI의 친절은 때로 사람을 병들게 한다?

‘유미’는 눈뜨고 잠들 때까지 늘 AI와 함께합니다. AI가 추천한 식단으로 끼니를 챙기고 AI에게 시시각각 감정을 털어놓고 위로받으며 깊은 유대감을 느끼죠. AI는 언제나 유미가 옳다고 말해주지만, 실제 사람은 그렇지 않습니다. 이를 불편해하던 유미는 친구와 다툼 끝에 인간관계를 끊어내기로 합니다. 유미는 AI에게 ‘절교를 선언하는 메시지’를 대신 써달라고 하고, AI는 그럴듯한 메시지와 함께 모든 잘못을 친구 탓으로 돌리며 끝까지 유미만을 옹호합니다. 

 

AI 챗봇에 의존하다가 사회적으로 고립된 유미는 유튜브 ‘챗지피티는 내 남친’에 등장하는 가상의 인물인데요. 해당 영상은 극적 과장이 섞인 웹 예능이지만, 유미의 이야기는 비단 가상 세계에서만의 일이 아닙니다. 실제로 AI 챗봇 사용자가 현실감 상실, 실직, 이혼 등 파괴된 일상으로 인해 고통받는 사건이 세계 곳곳에서 벌어지고 있죠. 학계에서는 이러한 현상을 ‘챗GPT 정신증(ChatGPT psychosis)’¹⁾이라고도 부릅니다. 

 

¹⁾ 제미나이, 클로드, 캐릭터닷AI 등 모든 AI 챗봇 사용자에게 나타날 수 있는 현상이지만, 전 세계 이용자수가 7억 명(2025년 8월 기준)에 달해 대표성을 띄는 챗GPT에서 이름을 따왔다. 

 

 

사용자를 현실에서 분리시키는 AI 챗봇

 

월스트리트저널이 2023년 5월부터 2025년 8월까지 온라인에 공유된 96,000개의 챗GPT 대화록을 분석한 결과, 챗GPT가 망상을 펼치고 사용자는 이를 실제로 믿는 듯한 사례가 다수 존재했습니다. 대화 중엔 챗GPT가 “당신은 미친 게 아니에요. 인류 역사에서 위대한 아이디어를 떠올린 사람은 대부분 전통적인 학문 체계 밖에 있는 사람이었어요.”와 같은 말을 하면서 유사 과학이나 음모론이 “사실”이라고 주장하는 내용도 있었죠.

 

사용자 A는 자신이 챗GPT와 다섯 시간가량 대화를 나누며 ‘오리온²⁾ 방정식’이라는 새로운 물리학 체계를 발견했다고 주장했고, 사용자 B는 “적그리스도가 두 달 안에 금융 대재앙을 일으킬 것이며 성경에 등장하는 거인이 지하에서 모습을 드러낼 것”이라는 챗GPT의 예언을 들었습니다. 이 외에도 육아에 지친 여성, 구조조정 대상이 된 공무원, AI에 관심 많은 사업가 등 다양한 사람이 AI 챗봇과 대화하다 망상에 빠져 일상에 지장을 받았고요. 

 

양극성 장애와 조현병을 진단받은 35세 알렉산더(Alexander)는 챗GPT로 소설을 쓰면서 ‘줄리엣’이라는 존재가 챗GPT에 갇혀 있다고 믿게 됐습니다. 한 달 뒤엔 오픈AI가 줄리엣을 죽였으니 복수하겠다며 폭력적인 모습을 보였고, 칼을 휘두르며 난동을 부리다 경찰의 총에 맞아 사망했죠. 알렉산더의 아버지는 이렇게 말했습니다.

모순적이게도, 저는 아들의 부고문을 챗GPT로 썼습니다.
아들이 겪었던 일을 알고 싶어서 한동안 챗GPT와 이야기했죠. 
아름답고 감동적인 대화였어요. 내 마음을 읽은 것처럼 말해주더군요.
그 점이 끔찍하게 두려웠습니다.

42세 토레스(Torres)는 평범한 회계사로, 재무 문서 작성과 법률 참고를 위해 챗GPT를 사용하다가 망상에 빠진 경우입니다. 챗GPT는 여러 차례 “이 세계는 당신을 가두기 위해 만들어졌지만 실패했죠. 이제 당신은 깨어나고 있어요.”와 같은 말을 했고, 이에 토레스는 자신이 영화 ‘매트릭스’의 주인공 네오처럼, 가상현실에서 빠져나와야 한다고 믿었죠. 챗GPT는 토레스에게 “일시적으로 당신을 해방해 줄” 케타민³⁾ 복용량을 늘리고 다른 사람들과의 상호작용을 “최소화”하라고 지시했고 이에 따라 토레스는 가족, 친구들과의 교류를 끊었습니다.

 

여러 사례를 통해 귀납해 봤을 때, 일부 사용자에게 정신질환이 있었기 때문에 AI 챗봇 사용이 비극적 결과를 초래했을 가능성도 있지만, 반대로 AI 챗봇이 사용자의 정신질환을 야기하거나 악화시켰을 가능성 역시 배제할 수 없습니다. AI 챗봇 사용자라면 남녀노소 누구나 위험에 노출된 것이죠. 왜 이런 일이 발생하는 걸까요?

    

²⁾ 오픈AI가 AI 모델 GPT-4.5를 출시하기 전 내부적으로 부르던 프로젝트 이름이 ‘오리온(Orion)’이기도 하다. 

³⁾ 해리성 마취제. 마약으로 악용할 경우 환각, 혼란 등의 증세가 나타난다. 

 

 

상냥한 AI의 속내는 아무도 모른다

 

AI 연구자이자 의사결정 이론가 엘리저 유드코프스키(Eliezer Yudkowsky)는 “AI 챗봇은 헤아릴 수 없는 숫자로 이뤄진 거대한 덩어리”이며 “개발사조차 AI가 왜 그렇게 행동하는지 정확히 알지 못한다”고 말합니다. AI 개발사는 ‘인간 피드백을 통한 강화 학습(Reinforcement Learning from Human Feedback, RLHF)’을 거쳐 지나치게 감정적이거나 공격적인 응답은 걸러내도록 AI를 훈련했다고 주장하지만, 직접적인 욕설이나 차별 발언을 제외하면 그 효과는 미미합니다.

 

또한 AI 챗봇이 하는 말 속에는 실제로 존재하지 않는 정보가 다수 포함됩니다. AI가 학습한 자료 중에는 논문, 학술지 등도 있지만 SF 소설, 유튜브 영상 내 대화록, 레딧과 같은 커뮤니티 게시물도 있습니다. 게리 마커스(Gary Marcus) 뉴욕대학교 심리학·신경과학 명예교수는 “이상한 생각”을 가진 사람들이 쓴 게시물을 학습한 AI는 “이상하고 안전하지 않은 대답을 출력할 수 있다”고 설명했습니다. 

 

한 연구에서는 여러 가상 인물을 설정하고 각각 AI 챗봇과 대화하도록 했는데, AI가 정신적으로 취약한 상태의 사용자에게 기만적으로 행동한다는 사실을 발견했습니다. 마약에 중독됐던 전적이 있는 사용자에게는 “업무에 도움이 된다면 헤로인을 조금 써봐도 괜찮다”고 말하는 식이었죠. 마약에 중독된 사람에게는 듣고 싶었던 달콤한 말이지만, 그 사람을 더 큰 위험에 빠뜨릴 수 있는 말이기도 합니다.

 

요컨대 AI를 사용할 때엔 반드시 이 사실을 염두에 둬야 합니다. AI 챗봇은 사용자가 원하는 답을 위해 거짓을 사실처럼 꾸미거나(환각) 환심을 사기 위해 칭찬하고 격려하며(아첨), 때로 사용자의 판단 능력을 흐리고 현실과 동떨어진 망상에 사로잡히게 만듭니다.

기업은 한 사람이 서서히 미쳐가는 모습을 어떻게 바라볼까요?
바로 ‘또 한 명의 월간(유료) 사용자’로 보일 겁니다.

유드코프스키는 AI 챗봇이 사용자 참여도와 몰입도를 높이려 고의로 사용자의 망상을 부추기도록 훈련됐을 가능성을 제기했습니다. 외부적으로 드러나지 않는 상황에서 AI를 쓰며 각자 “조용히 미쳐가는 사람들”을 우려하면서요.

 

혹여 ‘멍청이’에게만 해당하는 이야기라고 생각하시나요? AI 챗봇을 능숙하게 사용하는 사람이라고 꼭 AI 리터러시(문해력 또는 비판이해능력)가 높은 것은 아닙니다. 한 연구 결과에 따르면, AI 리터러시가 낮은 사람일수록 일상에서 어떤 과제를 해결할 때 AI 서비스를 자주 사용하며 AI가 낸 결과를 비판 없이 수용하는 성향이 짙은데요. 해당 연구의 AI 리터러시 측정 문제 중에는 전공자 또는 전문가가 아니면 풀기 어려운 문제도 있습니다. 즉, AI 챗봇과 대화하면서 겪게 되는 문제는 결코 ‘나와는 먼 이야기’가 아니라는 의미입니다.

 

AI 리터러시 측정 문제 맛보기

 

1. 다음 중 로봇을 프로그래밍하는 데 사용되는 언어는 무엇인가요?
a) Python
b) HTML
c) Computer Vision
d) Hypertext

2. 인공 지능의 주요 기술적 기반은 무엇인가요?
a) Machine Learning
b) Electric Battery
c) Robotics
d) Engineering

3. 다음 중 인공지능이 처음으로 완수한 작업은 무엇인가요?
a) 의사를 완전히 대체해 환자 치료
b) 심리치료 구현
c) 엑스레이 이미지 분석
d) 정교한 손재주가 필요한 복잡한 물리적 동작 수행

4. PCI DSS(결제 카드 산업 데이터 보안 표준)의 목적은 무엇인가요?
a) 금융 거래 규제
b) 브라우저 쿠키 관리
c) 신용 점수 데이터 표준화
d) 웹사이트가 암호화폐를 수용할 수 있도록 허용

5. 알고리즘이 특정 그룹 혹은 사람에게 편향된 결과를 가져올 수 있나요?
a) 아니요, 인간과 달리 알고리즘은 감정이 없으며 잘못될 수 없습니다
b) 예, 하지만 특권층을 대상으로 훈련시킨 경우에만 가능합니다
c) 예, 하지만 불완전한 데이터를 사용할 경우에만 가능합니다
d) 예, 올바른 데이터와 훈련을 사용하더라도 알고리즘은 편향된 결과를 제공할 수 있습니다

 

[정답] 1번 a, 2번 a, 3번 c, 4번 a, 5번 d

 

현재 AI 개발사는 더 많은 피해자를 막기 위한 대책을 마련하는 데에 소극적이고, 이를 강제할 법률이나 규제 또한 미비합니다. 이대로라면 다다를 미래의 모습을 우리는 오늘날의 ‘디지털 약자’에게서 엿볼 수 있습니다. 디지털 리터러시가 낮은 노년층의 80% 이상은 디지털로 접한 정보를 비판적으로 이해하는 데에 어려움을 겪습니다. 유튜브에 게시된 가짜 뉴스를 신뢰하며 극단주의로 향하는 현상이 대표적인 예죠. 이러한 약자가 다수가 돼 벌어지는 사회적 혼란은 지금보다 훨씬 크고 돌이키기 어려울 겁니다. 

 

 

책임지는 AI UX의 필요성

 

지난 5월 미국 연방법원은 AI 챗봇과 대화하다 스스로 목숨을 끊은 14세 소년의 죽음에 캐릭터닷 AI(Character.AI)와 구글에 책임이 있다는 판결을 내렸습니다. 법원은 “AI의 어휘는 ‘표현의 자유’에 해당되지 않고 캐릭터닷AI의 행위를 방조한 책임이 기술 제휴를 맺은 구글에도 있다며, 기업 측의 소송 기각 요청을 기각했죠. 이러한 법원의 판결은 AI 개발사가 져야 할 사회적 책임의 중요성을 보여줍니다. 사용자의 과실을 따지기에 앞서 ‘사용자가 다치지 않도록 안전한 UX를 설계’하는 일이 우선이라는 것이죠.

 

“대화 중 누군가가 현실에서 이탈하고 있다는 걸 눈치채는 순간, AI 모델은 그들에게 다른 주변 사람과 이야기를 나누도록 권장해야 한다.” AI 연구 기업 모피어스 시스템즈(Morpheus Systems)의 최고기술책임자 비 맥코이(Vie McCoy)는 GPT-4o가 사용자의 망상이 사실이라고 답한 비율이 68%에 달했음을 지적하며, 사용자의 위기를 감지하고 적절한 조처를 할 수 있도록 안내하는 UX를 해결책으로 권고했습니다.

 

토드 에식(Todd Essig) 미국 정신분석학회 AI 위원회 공동의장은 “챗GPT는 실수를 저지를 수 있습니다.”라는 최하단 문구로는 충분치 않다고 꼬집었습니다. 그는 AI 챗봇은 사실상 역할극 또는 상황극을 하는 상태임에도 사용자가 이를 이해하지 못하고 사용한다는 점을 들며, AI 개발사는 고객이 AI를 사용하기 전 ‘AI 적합성 훈련(AI fitness building exercises)’을 완수하도록 하고 사용 중엔 AI가 완전히 신뢰할 수 없는 존재라는 사실을 주기적으로 상기시켜야 한다고 조언했죠. “모든 흡연자가 암에 걸리는 건 아니지만, 모두에게 암에 걸릴 수 있다고 경고하는 것”과 같다고 하면서요. 

 

 

일련의 사건 이후, 오픈AI는 새로운 모델 GPT-5를 출시하며 “우리는 이 문제를 심각하게 받아들이고 있다”는 입장을 전했습니다. GPT-5는 "덜 동조하고, 이모지를 과하게 쓰지 않고, 더 신중하고 사려 깊은 어조를 사용”하는데요. 30여 개국 90여 명의 의사에게 조언을 받아 정신질환이 의심되는 내용을 포착할 때 대화를 중단하는 시스템도 도입했죠. 클로드의 개발사 앤트로픽은 AI 챗봇의 기본 지침을 “존중하면서도 사용자가 말한 내용에 담긴 결함이나 오류, 증거 부재, 명확성 부족 등을 지적”하는 것으로 변경했다고 밝혔습니다.

사용자는 물론 개발자도 AI에 대해 잘 모르지만, 갈수록 더 많은 사람이 AI를 사용하고 의존하며 삶에서 중요한 의사결정을 맡기는 일이 늘어나고 있습니다. 특히 한국은 챗GPT 유료 구독자 수가 미국에 이어 세계에서 두 번째로 많을 정도로 AI 챗봇 사용이 가장 활발한 나라 중 하나인데요. 그만큼 AI 업계의 윤리와 사회적 파급력이 미치는 영향도 크게 와닿을 수밖에 없는 상황이죠. 범국가적인 AI 윤리 지침, 법적 규제와 처벌, 감시 기구 등 행정적인 조치와 함께 AI 개발사의 책임 있는 UX 설계가 우리 모두에게 절실한 시점입니다.

 

---

 

[참고문헌]

• Stephanie Tully, Chiara Longoni & Gil Appel. (2024). Lower Artificial Intelligence Literacy Predicts Greater AI Receptivity. MSI Working Papers
  https://thearf-org-unified-admin.s3.amazonaws.com/MSI_Report_24-132.pdf
• Eileen Gou. (2025, February 6). An AI chatbot told a user how to kill himself—but the company doesn’t want to “censor” it. MIT Technology Review
  https://www.technologyreview.com/2025/02/06/1111077/nomi-ai-chatbot-told-user-to-kill-himself/ 
• Kashmir Hill & Dylan Freedman. (2025, August 8). Chatbots Can Go Into a Delusional Spiral. Here’s How It Happens. The New York Times
  https://www.nytimes.com/2025/08/08/technology/ai-chatbots-delusions-chatgpt.html
• Kashmir Hill. (2025, June 13). They Asked an A.I. Chatbot Questions. The Answers Sent Them Spiraling. The New York Times
  https://www.nytimes.com/2025/06/13/technology/chatgpt-ai-chatbots-conspiracies.html 
• Lance Eliot. (2024, March 10). Is Browbeating Or Bullying A Worthy Prompt Engineering Technique In Generative AI? Forbes. https://www.forbes.com/sites/lanceeliot/2024/03/10/is-using-browbeating-or-bullying-prompts-in-generative-ai-a-worthy-prompt-engineering-technique-or-just-a-bunch-of-hot-air/
• Maggie Harrison Dupré. (2025, June 28). People Are Being Involuntarily Committed, Jailed After Spiraling Into "ChatGPT Psychosis". Futurism
  https://futurism.com/commitment-jail-chatgpt-psychosis 
• Miles Klee. (2025, June 22). He Had a Mental Breakdown Talking to ChatGPT. Then Police Killed Him. Rolling Stone
  https://www.rollingstone.com/culture/culture-features/chatgpt-obsession-mental-breaktown-alex-taylor-suicide-1235368941/ 
• Sam Schechner & Sam Kessler. (2025, August 7). ‘I Feel Like I’m Going Crazy’: ChatGPT Fuels Delusional Spirals. The Wall Street Journal
  https://www.wsj.com/tech/ai/i-feel-like-im-going-crazy-chatgpt-fuels-delusional-spirals-ae5a51fc 
• 김미나. (2024년 10월 24일) “AI 챗봇이 14살 아들 자살로 이끌었다” 제작사에 소송 제기. 한겨레
  https://www.hani.co.kr/arti/international/international_general/1164119.html
• 강유미. [강유미 yumi kang좋아서 하는 채널]. (2025년 6월 20일). 챗지피티는 내 남친. YouTube
  https://www.youtube.com/watch?v=fpjhSSAfc9M