'스트레스로 잠이 오지 않아. 팀장님은 정말 사람 속 태우는 재주가 탁월하셔.' 챗GPT에게 불면증의 원인인 상사와의 갈등을 털어 놓는다. 연봉 협상을 앞두고 클로드에게 자기 급여 명세서를 첨부해 조언을 구하는가 하면 요즘 부쩍 해결되지 않는 만성피로 증상을 하나하나 자세히 적어 넣으며 의심되는 진단명을 물어보기도 한다. 몇 해 전까지 검색창에 검색어를 입력하던 습관이 이제 AI에게 속마음을 털어 놓는 습관으로 바뀐 셈이다.

많은 이들이 이런 단순한 'AI와의 대화' 내용이 어디에 어떻게 남는지 거의 신경 쓰지 않는다. 나의 정보를 기억해서 개인 맞춤형 답을 주는 AI를 신기하고 기특하게 여길 뿐이다.

검색엔진에 입력한 검색어는 검색기록에 남지만 그 자체가 새로운 무언가를 '만드는'데 쓰이지는 않는다. 하지만 AI챗봇은 다르다. 사용자가 대화창을 통해 입력한 문장은 서비스 품질 개선이나 모델 학습에 활용될 수 있을 뿐 아니라 한번 학습 데이터로 들어가면 사실상 되돌리기가 불가능하다. AI와의 대화내용에 신경 써야 하는 이유다.

실제로 2023년 3월 삼성전자가 반도체(DS) 부분에 챗GPT 사용을 허용한지 20일도 안 돼 세 건의 사고가 연달아 터졌다. 한 직원은 설비 계측 프로그램의 소스코드 오류를 봐 달라며 챗GPT에 코드를 입력했고 다른 직원은 불량 설비를 잡아내는 프로그램의 코드를 통째로 올려 최적화를 요청했다.

또 다른 직원은 사내 회의 녹음을 텍스트로 옮긴 뒤 챗GPT에 회의록 요약을 맡겼다. 세 사람 모두 별도 의도 없이 회사 업무를 편하게 처리하려던 것으로 보였지만 오픈 AI는 이용자가 입력한 내용을 검토해 학습 데이터로 활용하는 것으로 알려져 있기 때문에 이 정보들이 외부를 흘러 나갈 가능성이 제기됐다. 결국 삼성전자는 그 해 5월 1일부로 사내 전 부분에서 생성형 AI접속을 전면 차단했다. 흥미로운 건 3년 뒤 2026년 6월, 삼성전자는 챗GPT, 제미나이, 클로드 3종을 전사에 공식 도입했다. 위험이 사라져 서가 아니라 보안 체계를 갖추어서였다.

그렇다면 AI와의 대화에 있어 특히 무엇에 유념해야 할까?

첫째, '민감정보'의 기준을 낮게 잡아야 한다. 이름, 주민번호, 주소 같은 명백한 개인정보만 위험한 게 아니다. 건강 상태, 감정 상태, 인간관계처럼 일상적이고 사소해 보이는 정보도 결합되면 충분히 개인을 특정하고 프로파일링 하는데 쓰일 수 있다.

미국에서는 생리주기 추적 앱 '플로(Flo)'가 이용자의 생리, 임신 관련 정보를 메타 등의 광고 플랫폼과 공유한 사실이 드러나 2025년 8월 연방 배심원단으로부터 유죄 평결을 받았다. 배심원단은 메타가 이용자 대화를 의도적으로 수집, 기록했다고 판단했고 모든 당사자의 동의를 받지 않았다고 결론 내렸다. 앱에 입력한 생리 주기라는 일상 정보가 결국 타겟팅 데이터가 될 수 있음을 보여준 사례다.

둘째, '설정을 끈다'는 것이 곧 '지워졌다'는 뜻이 아니라는 점을 인식할 필요가 있다. 주요 AI 챗봇 3사 모두 공통적으로 기본값은 '학습에 활용됨'이고 이용자가 능동적으로 꺼야 보호되는 구조다. 그리고 그 설정조차 완전한 소급 삭제를 보장하지 않는다. 눈 여겨 볼 사례는 클로드다. 앤트로픽은 2025년 8월까지만 해도 '소비자 대화는 학습에 쓰지 않는다'는 원칙을 지켜왔는데 그해 정책을 바꿔 이용자가 직접 '학습지원'에 동의하도록 하는 방식으로 전환했다. 동의 여부에 따라 보관기간도 극단적으로 갈린다. 동의하지 않으면 대화는 삭제 후 30일 내에 백 엔드에서 완전히 제거되지만, 동의했을 경우엔 비식별 형태로 최대 5년간 학습 파이프라인에 보관될 수 있다. 토글 버튼 하나의 차이가 '한 달'과 '5년'을 나누는 셈이다.

최근에는 AI가 대화 내용을 스스로 기억하는 '메모리'기능이 보편화되면서 또 다른 문제가 생겼다. AI에이전트는 세션이 끝났 뒤에도 사용자에 대한 관찰을 비정형 기록으로 남기는데 이 기록에는 '누구의 기록'인지 표시가 되어있지 않은 경우가 많다. 그래서 이용자가 삭제를 요청해도 시스템이 어떤 기록이 그 사람 것인지 특정하지 못해, 삭제 요청 자체가 기술적으로 실행되지 않는 상황이 발생한다. 삭제하겠다는 약속과 실제로 지울 수 있는 능력 사이에 간극이 있다는 것이다.

올1월 한국에서는 AI기본법이 시행됐다. 투명성과 안정성 확보, 사람의 권리에 큰 영향을 미치는 '고 영향 AI'에 대한 책무를 규정한 법이다. 그런데 이 법은 개인정보를 어떤 근거로 수집 처리할 수 있는지를 새로 정리하지 않고 있어 이에 관해서는 기존 개인정보보호법에 근거를 의존해야 하는데 여기에 공백이 있다. 개인정보 처리의 근거로 흔히 쓰이는 '정당한 이익' 조항은 유럽연합과 달리 한국에서는 실무적으로 적용하기가 매우 까다롭다.

어떤 경우에 이 조항을 근거로 삼을 수 있는지가 불명확해서, 사용자도 이용자도 '지금 내 정보가 어떤 법적 근거로 어떤 목적에 쓰이고 있는지' 예측하기 어렵다. 게다가 AI기본법이 시행과 동시에 최소 1년 이상의 계도기간을 두고 있어 인명피해처럼 중대한 사고가 아니면 조사나 제재를 원칙적으로 유보하고 있다. 법은 만들어졌으나 실효성이 없는 상황이다.

그렇다면 우리는 오늘 챗봇에게 털어놓은 비밀이 내일 지구 반대편 낯선 사용자의 화면에 답변으로 튀어나올 가능성을 손 놓고 볼 수밖에 없을까? 즉각적으로 할 수 있는 일은 각 서비스의 데이터 활용 설정의 확인이다.

챗GPT는 '프로필> 설정> 데이터 제어'에서 '모두를 위한 모델 개선 (Improve the model for everyone)'옵션을 끌 수 있다. 물론 이 설정을 꺼도 오픈 AI는 새 대화를 최대 30일간 보관한 후 삭제한다.

클로드는 '설정>개인정보 보호'에서 '클로드 개선 지원 (Help improve Claude)'옵션을 끄면 된다. 대화는 삭제 후 30일 내에 백엔드에서 제거된다. 켜둔 상태면 비식별 형태로 최대 5년까지 보관될 수 있다. 

제미나이는 gemini.google.com 에서 '설정 및 도움말> 활동'으로 들어가거나 myactivity.google.com/product/gemini에직접 접속해 '활동 보관' 항목을 끄면 된다. 기본값은 18개월 후 자동삭제이고 3개월, 36개월로 조정하거나 자동삭제를 끌 수도 있다. 다만 이 설정을 꺼도 최대 72시간은 대화가 저장된다.

세 서비스 모두 설정을 끄는 시점 이후의 데이터에는 효과가 있지만 이미 저장된 기존 대화까지 소급해서 삭제해주지는 않는다. 이 설정들은 '사후대응'보다는 '사전예방'에 가깝다. 만일 불가피하게 민감한 정보를 입력할 일이 있다면 미리 켜두는 것이 좋다.

물론 더 근본적인 습관은 '입력하기 전에 한 번 더 생각하는 것' 이다. 주민등록번호, 계좌번호, 전화번호 같은 확실한 개인정보는 물론 건강 상태, 인간 관계, 감정 상태처럼 일상적이고 사소해 보이는 정보도 굳이 실명이나 특정이 가능한 맥락과 함께 입력하지 않는 편이 바람직하다.

사실 개인정보에 대해서는 이용자 개인의 주의만으로는 한계가 있다. 삼성전자가 보안쳬계를 갖춘 후에 다시 AI를 오픈 한 것처럼 설정 하나 바꾸는 것 만으로 해결되지 않는 구조적인 문제, 예컨대 메모리 기록의 출처를 추적 가능하게 만드는 기술적 장치나 개인정보 처리 근거를 사업자와 이용자 모두가 충분히 예측할 수 있도록 만드는 법적 정비 등은 결국 기업과 정부의 몫이다.

여태 살아보지 못한 미래는 결국 우리의 선택으로 만들어가는 세상이다. 이용자의 경각심과 제도의 정비는 절대 하나로는 충분치 않은, 서로 맞물려 돌아가야 하는 시스템이다.   

◇하민회 이미지21대표(미래기술문화연구원장) =△경영 컨설턴트, AI전략전문가△ ㈜이미지21대표 △경영학 박사 (HRD)△서울과학종합대학원 인공지능전략 석사△핀란드 ALTO 대학 MBA △상명대예술경영대학원 비주얼 저널리즘 석사 △한국외대 및 교육대학원 졸업 △경제지 및 전문지 칼럼니스트 △SERI CEO 이미지리더십 패널 △KBS, TBS, OBS, CBS 등 방송 패널 △YouTube <책사이> 진행 중 △저서: 쏘셜력 날개를 달다 (2016), 위미니지먼트로 경쟁하라(2008), 이미지리더십(2005), 포토에세이 바라나시 (2007) 등