AI 핵심 요약
beta- 연구팀들이 2025년과 2026년에 AI 페르소나 프롬프트가 수학·코딩 등 정답 작업에서 성능을 떨어뜨린다고 밝혔다.
- 페르소나 부여로 AI가 어조 맞추기에 치중해 정확한 계산 기능이 약화된다는 것이다.
- 정확성 필요 시 구체적 상황 설명하고, 어조 조절 시에만 페르소나를 써야 한다.
!AI가 자동 생성한 요약으로 정확하지 않을 수 있어요.
"당신은 20년 경력의 원어민 영어 전문가입니다. 지금부터…"
김대리는 영어 이메일을 쓸 때마다 AI에 이렇게 입력한다. 인터넷에서 배운 '고급 프롬프트 기술'이다. 그런데 정작 결과물은 항상 기대에 못 미쳐 의아했다.
최근 연구들이 그 이유를 설명해준다. 와튼 스쿨 생성AI 연구소(Basil et al., 2025)와 남가주대(USC, Hu et al., 2026) 등에서 잇따라 발표된 논문들에 따르면, ' 당신은 ~ 전문가입니다.' 라는 페르소나 프롬프트는 수학, 코딩, 사실 확인처럼 정답이 분명한 작업에서 오히려 성능을 떨어뜨린다. 전문가 페르소나를 붙여도 기본 설정 대비 성능 향상이 없었고, 조건에 따라서는 되려 정답률이 낮아졌다는 것이다.
왜 이런 역효과가 날까?
AI 모델 안에는 크게 두 가지 기능이 공존한다. '지시를 잘 따르는 기능'과 '사실을 정확히 계산하는 기능'이다. USC 연구팀은 페르소나를 부여하면 전자가 강하게 켜지면서 후자를 방해하는 현상이 생긴다는 것을 확인했다. AI가 "전문가 답게 들리는 어조"를 맞추는 데 집중하느라, 정작 정확한 답을 찾는 능력이 흐려지는 것이다.
USC PRISM 논문(arXiv 2603.18507)에 따르면 MMLU 벤치마크(대학원 수준 시험 문제)에서 전문가 페르소나를 붙인 AI의 정답률은 기본 설정 71.6%에서 68.0%로 하락했다. 와튼 스쿨 연구도 6개 모델, 두 가지 벤치마크에서 동일한 결론을 냈다. 도메인이 맞지 않는 전문가 페르소나, 예컨대 물리 문제에 경제학 전문가를 붙이면 성능 저하가 더 커졌다. '평범한 사람'이나 '어린 아이' 같은 낮은 지식을 가진 페르소나 역시 정답률을 유의미하게 낮췄다.
사실 페르소나 프롬프트를 둘러싼 통설은 검증보다 입소문이 앞선 대표적 사례다.
구글·Anthropic·OpenAI의 공식 개발자 가이드가 "역할을 지정하라"를 모범 사례로 '권장' 했고 유튜버들이 비법처럼 전파하면서 하나의 믿음이 됐다. 논리도 직관적으로 설득력 있었다. 전문가에게 물으면 전문가다운 답이 나온다는 인간 사회의 경험을 AI에 그대로 이식한 것이었다. '착각' 이었다. 정작 엄밀하게 검증해보니 절반은 오해였다.
그렇다면 페르소나는 아예 쓰지 않는 게 좋을까?
꼭 그렇지는 않다. 연구들의 결론은 좀 더 실용적이다. '무엇을 원하느냐'에 따라 써야 할 때와 쓰지 말아야 할 때가 다르다.
예컨대 정답이 있는 작업 - 수학 풀이, 코드 디버깅, 팩트 확인, 법률·세무 정보 검색 등에는 페르소나 프롬프트를 쓰지 말아야 한다. 흔히 일반적으로 쓰는 "당신은 10년 경력의 세무사입니다. 연말정산 방법을 알려주세요."는 대표적으로 잘못된 사용법이다.
이 보다는 "직장인 기준으로, 의료비 공제와 교육비 공제를 동시에 신청하는 방법을 단계별로 설명해줘." 처럼 원하는 것을 구체적으로 서술할수록 더 정확한 답을 구할 수 있다.
반면 어조, 감성, 문체가 결과물의 품질을 좌우하는 작업에서 페르소나는 여전히 강력하다. 글쓰기, 마케팅 카피, 특정 독자층을 겨냥한 콘텐츠에 해당한다.
막연하게 "이 내용을 쉽게 설명해줘." 보다는 "초등학교 5학년 담임 선생님 말투로, 아이들이 이해할 수 있게 설명해줘." 라는 프롬프트가 결과물의 톤을 정밀하게 조율해준다는 말이다.
전후 좌우 앞뒤 두서없이 일단 '전문가'부터 거론하지 말고 어떤 답을 원하는지를 먼저 판단하고 요구하는 것이 바람직하다. 회사 보고서 데이터를 분석할 땐 "전문가처럼"이 아니라 "이 숫자들의 전년 대비 증감률을 표로 정리하고, 주목할 이상 값을 짚어줘" 라고 써야 한다. 반면 그 분석 결과를 임원진에게 보내는 메일로 바꿀 땐 "격식 있고 간결한 경영진 보고 문체로 써줘"라는 지시가 효과적이다.
핵심을 정리하자면 '정확한 정보'가 필요하면 역할 말고 상황을 설명하는 것이 효과적이다. 반면 '특정 느낌'이 필요할 때는 역할 설정이 도움이 된다.
AI 도구를 잘 쓰는 것과, 도구에 대한 과장된 믿음을 걸러내는 것은 동일한 능력이다.
무조건 "당신은 전문가입니다"라는 주문을 외우는 것보다, 지금 내가 AI에게 정확히 무엇을 원하는지 스스로 먼저 정의하는 습관이 더 나은 결과를 만든다.
모든 상황에서 AI에게 역할을 맡기기 전에, 문제를 명확히 아는 사람은 언제나 '나'여야 한다.
◇하민회 이미지21대표(미래기술문화연구원장) =△경영 컨설턴트, AI전략전문가△ ㈜이미지21대표 △경영학 박사 (HRD)△서울과학종합대학원 인공지능전략 석사△핀란드 ALTO 대학 MBA △상명대예술경영대학원 비주얼 저널리즘 석사 △한국외대 및 교육대학원 졸업 △경제지 및 전문지 칼럼니스트 △SERI CEO 이미지리더십 패널 △KBS, TBS, OBS, CBS 등 방송 패널 △YouTube <책사이> 진행 중 △저서: 쏘셜력 날개를 달다 (2016), 위미니지먼트로 경쟁하라(2008), 이미지리더십(2005), 포토에세이 바라나시 (2007) 등
