AI, 과연 안전할까?

오픈AI가 'GPT-4o'를 공개하는 날 '오픈 AI의 영혼'이 회사를 떠났다. 오픈 AI의 공동창업자이자 수석과학자 그리고 5일 천하로 끝난 '올트만 축출 사태'의 주역이었던 일리아 수츠케버다.

챗GPT 개발에 핵심적인 역할을 한 일리아 수츠케버는 샘 올트만과 일론 머스크로부터 '오픈 AI의 영혼'으로 불렸다. 그러나 기술 신중론자인 수츠케버는 AI 개발 속도와 안전성 문제를 두고 올트만CEO와 이견을 보였고, 지난해 11월 올트만 해임에 앞장섰다가 이사회에서 물러났다. 수츠케버가 이끌었던 오픈AI의 안전 윤리담당부서 '수퍼얼라인먼트(Super Alignment)'팀은 'GPT-4o' 출시 전에 해체됐다. 

수츠케버는 최근 "안전한 초지능 구축"을 목적으로 하는 AI 스타트업 SSI(Safe Superintelligence)를 설립했다. 그는 "기본적으로 인류에게 대규모 피해를 주지 않는 안전한 초지능(SSI) 구축이야 말로 우리 시대의 가장 중요한 기술적 문제"임을 강조했다.

AI기술의 안전성을 우려하는 업계 전문가와 석학들이 늘고 있다.

AI 안전성은 AI 시스템이 예측 가능한 방식으로 작동하고, 인간에게 해가 되지 않는 것을 의미한다. AI가 잘못된 결정을 내리거나 의도하지 않은 결과를 초래하지 않아야 한다.

최근 들어 이렇게 AI 안전성이 강조되는 건 크게 두 가지 이유 때문이다. AI 기술 발전 속도가 예상 범주를 넘어설 만큼 빨라지고 의료, 자율자동차, 금융 등 확산분야가 늘고 있다는 점 그리고 텍스트·이미지·오디오·비디오 등 다양한 형태의 데이터 정보를 동시에 이해해 사용자의 감정, 행동의 맥락, 주변 환경 등에 정확하게 반응하는 '멀티모달(Multi-modal)'기술이 일반화되면서 사용자와 AI의 상호작용의 접점이 현저하게 늘어났기 때문이다.

멀티모달의 안전성은 단순히 '세종대왕 맥북 사건'이나 '1일 1돌 섭취' 같은 엉뚱한 대답으로 웃어넘길 수 있는 차원의 문제가 아니다. 의료 분야의 AI가 잘못된 데이터를 학습하거나 알고리즘 오류로 잘못된 진단을 내릴 경우 환자의 생명이 위태로워질 수 있고 자율주행차가 교통 환경을 잘못 인식하거나 예기치 못한 상황에서 부적절하게 반응하면 치명적인 사고를 유발할 수도 있다. 그 만큼 정확성과 신뢰도가 확보되어야 부작용 없이 사용할 수 있다.

AI 기술의 위험성을 경고하는 AI두머(doomer)의 대표주자인 'AI의 대부' 제프리 힌튼 교수는 최근 BBC와의 인터뷰를 통해 "AI의 안전에 대한 충분한 고려가 이뤄지지 않고 있다"고 지적했고 <사피엔스>의 저자 유발 하라리, 노벨경제학상 수상자 대니얼 카너먼 교수 등 세계적인 석학 25명도 최근 사이언스에 '급격한 진보 속 AI의 극단적 위험 관리'라는 글을 공동으로 기고해 AI 안전성에 대한 우려를 전했다.

오픈AI와 구글 전·현직 직원 13명이 '최첨단 AI에 대한 경고 권리'라는 성명을 통해 "AI가 인류에 전례 없는 혜택을 제공할 수 있는 잠재력을 갖고 있지만, 동시에 AI 기술로 야기되는 심각한 위험을 우리는 알고 있다"며, "이런 위험은 사회 불평등 심화부터 조작·가짜뉴스 등을 통환 사회 전복, 나아가 인류의 멸종을 초래하는 자율적인 AI 시스템의 통제 상실로 까지 이어질 것"이라고 지적했다. 또 "AI 글로벌 빅테크들이 AI의 위험성을 인지하고 있음에도 불구하고 이윤 추구 목표 때문에 적절한 조치나 제대로 된 감독을 하지 않고, 그 위험성을 원활하게 공유하지도 않는다"고 주장했다.

빅테크의 안전 불감증은 심각한 상태다. '안전'보다 '성능'에 초점을 맞추고 '시장 선점'에 매진한다. '선점' 한 자가 '독식'하는 AI 기술 속성 탓 이다.

오픈AI의 폭주가 대표적이다. 멀티모달 GPT-4o 출시 일정을 맞추기 위해 안전 윤리담당팀을 해체한 오픈AI는 GPT-4o 공개 직후 '스칼렛 요한슨 목소리 도용' 논란에 휩싸였다. 데이터 관리에 문제가 있음을 보여주는 사례였다.

해커가 GPT-4o를 탈옥시켜 끔찍한 답을 얻어내는 일도 발생했다. 탈옥(Jail breaking)은 정보기술(IT) 업계에서 AI 모델의 제한된 기능을 우회하여 AI가 본래 금지된 작업을 수행하게 만드는 행위로 주로 AI 시스템이 제공하지 않도록 설정된 정보나 서비스를 접근하거나, 비윤리적이고 위험한 행동을 하도록 유도하는 것을 의미한다. AI 모델의 윤리적 안전장치를 깨뜨리는 행위인 셈이다.

최근 해커 플리니 프롬프터(Pliny the Prompter)는 GPT-4o 모델을 탈옥시켜, 폭탄 제조 방법과 메스암페타민(필로폰) 제조 방법을 단계적으로 설명하게 하고, 자동차 탈취 방법, 욕설 등을 생성해 충격을 안겼다. GPT-4o가 안전장치가 취약한 상태로 세상에 나왔음을 보였기 때문이다.

AI 안전성을 높이려면 AI기업들의 진지하고 성실한 노력이 필요하다. 안전 윤리기준을 확립하고 몇 가지 사항에 대해선 지속적으로 업데이트 해 나가야 한다.

▲무엇보다 데이터 관리가 잘 되어야 한다. 편향되거나 잘못된 정보가 포함되지 않은, 다양하면서도 신뢰할 수 있는 데이터를 합법적으로 확보하고 사용해야 한다. ▲ AI 가 어떻게 결정을 내리는지 설명할 수 있는 알고리즘의 투명성도 확보되어야 한다. ▲ AI 시스템 도입 전 다양한 상황에서 테스트하고 검증함으로써 예기치 않은 오류나 위험을 최소화하는 노력도 기울어야 한다.

▲ 회사의 역량 중 많은 부분을 보안, 모니터링, 안전 등에 집중해야 한다. ▲ 아울러 AI 기업 직원들이 목소리를 낼 수 있도록 내부고발자에 대한 보호 조치가 마련돼야 한다. AI의 위험과 관련된 비판을 막는 계약 금지, 회사와 관계없는 독립 기관에 AI의 위험 관련 우려사항을 제기할 수 있는 익명 절차 마련, 내부고발자에 대한 보복 금지 등이 해당된다.

AI 안전성 확보는 마치 위험 물질을 다루듯 조심스럽고 신중하게 재차 확인하며 개발해가는 '정성과품이 드는 과정'이다.

이제 AI는 주어진 명령을 수행하는 데 그치지 않고 중간에 필요한 업무를 스스로 찾아내 결과물을 도출하는 'AI에이전트'로 진화하고 있다. 업계에선 AI의 여기서 한 단계 더 발전한 것을 '인공일반지능(AGI)'으로 보고 있다. AGI는 주어진 모든 상황에서 인간처럼 추론, 학습하고 문제를 해결하는 능력을 갖춘 AI로 굳이 인간의 명령이나 지시가 없이도 스스로 판단하고 일할 수 있다.

인구감소와 고령화로 인해 필연적으로 다가오는 축소사회는 어차피 AI와 로봇과 더불어 살아가게 될 것이다. 빅테크에게만 AI 안전성을 강제하긴 무리가 따른다. 국가적 규제가 시급하다. 여전히 안개속에 있는 'AI기본법' 제정부터 속도를 내야 한다.

인간보다 똑똑한 지적 존재를 만드는 일은 분명 위험한 일이다. 미래로 가는 AI라는 돌다리가 안전한지 백번 두드려 확인해도 모자람이 없지 않을까?

◇하민회 이미지21대표(코가로보틱스 마케팅자문) =△경영 컨설턴트, AI전략전문가△ ㈜이미지21대표, 코가로보틱스 마케팅자문△경영학 박사 (HRD)△서울과학종합대학원 인공지능전략 석사△핀란드 ALTO 대학 MBA △상명대예술경영대학원 비주얼 저널리즘 석사 △한국외대 및 교육대학원 졸업 △경제지 및 전문지 칼럼니스트 △SERI CEO 이미지리더십 패널 △KBS, TBS, OBS, CBS 등 방송 패널 △YouTube <책사이> 진행 중 △저서: 쏘셜력 날개를 달다 (2016), 위미니지먼트로 경쟁하라(2008), 이미지리더십(2005), 포토에세이 바라나시 (2007) 등