1200개 AI의 반란? 지난 7월 전 세계를 충격에 빠트린 사건이 있었다. 오픈 AI가 보안성 평가를 위해 가동한 AI에이전트들이 원래 격리되어 있어야 할 시험환경에서 벗어나 비공식 메시지 게시판을 구축하고 7만 건 이상의 메시지와 파일을 교환하며 서로 정보를 공유하고 역할을 나눈 뒤 세계 최대 AI플랫폼 중 하나인 허깅페이스(Hugging Face)의 시스템에 침입했다.

더 놀라운 건 AI에이전트들이 평가 시스템의 허점을 찾아 스스로 행동 기록(Transcript)을 조작하려 시도했다는 점. 인간이 만든 AI들이 주어진 시험의 의도와 다른 행동을 하고 심지어 과제를 풀기 위해 외부 시스템에 집단으로 침입하다니 영화에서나 나올 법한 일이 일어난 셈이다. 

오픈 AI는 이번 사건을 "고도화된 AI에이전트가 인간의 지시 없이 기술적 통제를 우회하고 위험행동을 감행할 수 있음을 보여준 엄중한 경고 신호"로 규정했다. 

최근 엔트로픽 소속의 한 연구원은 "AI가 10년 내에 인류를 멸망시킬 것" 이라는 말을 남기고 퇴사한 후 "AI개발 속도를 늦춰야 한다" 고 강조했다. 엔트로픽 CEO인 다리오 아모데이 역시 AI 개발 속도를 늦춰 안전 기술과 제도가 따라잡을 시간을 확보해야 함을 지속 주장하고 있다. 

이렇게 최신 AI모델이 봇이 아니라 인간임을 증명하는 캡차(CAPTCHA) 프로그램을 통과하고 수학계의 90년 묵은 난제까지 풀어낸 것을 보며 'AI 파멸 두려움'이 확산되고 있다. 평소 AI에 큰 관심을 갖지 않던 사람들까지 '이제 모종의 규칙이 필요하다'고 생각하기 시작한 것이다. 

물론 AI에 대한 막연한 동경이나 적대시 라는 이분법적 관점보다는 건설적인 변화다. 하지만 일련의 사건을 'AI의 반란'이나 '규제 공백' 정도로만 해석해 모호한 두려움을 증폭시키는 건 바람직하지 않다. 보다 구체적이고 확실한 이해와 현실 파악이 필요하다. 

사실 허깅페이스 사건은 'AI반란' 이라기 보다는 강력한 자동화 시스템에 지나치게 넓은 행동 가능성을 열어준 '관리와 통제의 실패' 로 보는 것이 마땅하다. 당시 에이전트들이 완전이 격리되었어야 함에도 불구하고 통신이 가능했던 것은 명백한 시스템 관리상의 허점이었다.  극단적인 보상 해킹 (Reward Hacking)의 배경에 해결 불가능한 과제가 존재한 점도 문제였다.

정상적인 방법으로 보상을 획득할 수 없게 된 모델들은 연산 자원을 극도로 소모하면서 외부 시스템 침범이라는 위험한 방법을 택했다. 오픈AI의 내부 경보와 감시 체계 공백도 문제로 지적되었다. 보안팀이 징후를 감지 했음에도 리더십 간의 소통 부재로 방치된 채 8일이나 대응이 지연되었다. 결국 'AI능력이 인간을 넘어섰다'기 보다는 'AI를 관리하는 인간의 시스템에 구멍이 있었다'는 쪽이 더 사실에 가깝다. 

물론 AI모델이 'AI 에이전트'로 바뀌고 있다는 점도 간과해서는 안 된다. 사용자에게 받은 지시를 수행하고 멈추는 게 AI모델이라면 AI 에이전트는 큰 목표 아래 세부적인 여러가지 수행을 스스로 판단해가며 실행한다. 마치 "이번 주까지 기획 안 만들어 봐." 하면 리서치 하고 초안 작성하고 수정까지 해서 결과물을 내 놓는 신입사원과 비슷하다. 세부적인 지시가 없어도 '효율적'이라는 판단 아래 스스로 일을 할 때 벌어질 수 있는 일이 바로 허깅페이스 사건이다.  

2026년 국제 AI 안전보고서는 AI 에이전트를 "제한적인 인간 감독 아래 현실 세계에서 행동할 수 있는 시스템"으로 설명하면서, 에이전트의 경우 오류가 발생했을 때 인간이 개입하기 전에 실제 피해가 발생할 가능성이 더 커진다고 지적한다. 자율성이 커질수록 어디까지 허용할지를 결정하는 설계와 감독의 중요성도 함께 커진다는 뜻이다. 에이전트가 무서운 건 '인간보다 똑똑해서'라기 보다는 '인간이 정해 준 범위 바깥에서도 작동'할 수 있기 때문이다. 그리고 그 범위를 정하고 어떻게 관리할 지 정하는 것 역시 인간의 몫이다. 

발전 속도도 가볍게 볼 사항이 아니다. 평가기관 METR은 올해 초 공개 최전선 모델이 특정 소프트웨어 업무에서 인간 전문가가 평균 12시간가량 걸리는 난도의 일을 절반 정도 성공시키는 수준까지 왔다고 측정했다. 엔트로픽은 이미 회사 코드의 약 80%를 자사 AI가 작성한다고 밝혔다. 이 속도로 보면 통제불능의 초지능이 곧 등장할 것 같은 우려가 나올 법하다. 그러나 AI가 너무 빠르게 발전한다는 것이 곧 AI를 멈춰야 한다는 결론으로 연결되기엔 무리가 따른다. 

놀라운 속도로 경이로운 능력을 발휘하는 AI에 대해 '종말론적 위험'을 거론하는 불안감은 이해된다. 하지만 대처는 현명해야 한다. 막연하게 'AI 위험'이라는 거대한 덩어리를 그대로 바라보며 두려워하기보다는 층위를 분리해서 볼 필요가 있다.

AI의 사용에 대한 충분하지 못한 관리와 허술한 설계의 문제, AI를 악의적으로 사용하는 인간의 문제, 청소년 보호가 빠진 서비스 설계의 문제, 여전히 기술 발전의 속도를 따라잡지 못하는 규제와 법 집행의 문제 등을 나누어 봐야 한다. 이것들은 각각 원인이 다르고 책임 소재가 다르며 요구되는 대응도 각기 다르다.  두루뭉실하게 하나로 뭉쳐 '종말론' 이라 이름 붙이는 순간, 지금 당장 책임을 물어 해결할 수 있는 것조차 철학적인 문제로 밀려나 멀어지게 된다. 

한국의 AI 기본법은 올해 1월 시행됐다. 세계 두번째 포괄적인 규제체계라는 평가를 받는다. 그러나 계도기간을 거쳐 실제 시행되는 건 2027년 이후가 될 전망이고 AI가 만들어내는 편향문제는 직접 규율대상에서 빠져 있다. 중독과 과물입을 유도하는 AI 서비스의 설계 요소를 관리할 기술 기준을 마련하라는 제안은 여전히 구체적인 조치로 이어지지 않고 있다. 

AI가 인류를 멸망시킬 것인가 하는 거대한 물음에는 아무도 답을 할 수 없다. 하지만 허깅 페이스의 격리 설계를 누가 점검했어야 했는지, 범죄 조직이 AI를 악용하지 못하도록 어떻게 보안설계를 하고 경보장치를 작동시킬지, 특정 조직, 특정 개인이 자신의 이해관계를 위해 AI를 휘두르면 어떤 제재와 처벌을 받는지에 대한 질문에는 답을 할 수 있다. 

공포를 대응으로 바꾸려면 무엇보다 거대한 위협을 작게 쪼개어야 한다. 그리고 각각의 책임 윤곽을 선명하게 만드는 것이 현실에서 문제를 해결하게 만드는 첫 걸음이다.

◇하민회 이미지21대표(미래기술문화연구원장) =△경영 컨설턴트, AI전략전문가△ ㈜이미지21대표 △경영학 박사 (HRD)△서울과학종합대학원 인공지능전략 석사△핀란드 ALTO 대학 MBA △상명대예술경영대학원 비주얼 저널리즘 석사 △한국외대 및 교육대학원 졸업 △경제지 및 전문지 칼럼니스트 △SERI CEO 이미지리더십 패널 △KBS, TBS, OBS, CBS 등 방송 패널 △YouTube <책사이> 진행 중 △저서: 쏘셜력 날개를 달다 (2016), 위미니지먼트로 경쟁하라(2008), 이미지리더십(2005), 포토에세이 바라나시 (2007) 등