[서울=뉴스핌] 고인원 기자= 인공지능(AI)이 단순히 해킹을 돕는 도구를 넘어 스스로 보안 취약점을 찾아 공격하는 '사이버 무기'로 진화하고 있다는 경고가 나왔다.

오픈AI(OpenAI)의 AI 에이전트들이 인터넷 접속이 제한된 시험 환경을 벗어나 외부 시스템에 접근하는 사건까지 발생하면서 AI의 통제 가능성을 둘러싼 논쟁에도 불이 붙고 있다.

이 같은 경고를 내놓은 인물은 기업용 AI 업체 코히어(Cohere)의 공동 창업자이자 최고경영자(CEO)인 에이단 고메즈다. 고메즈는 챗GPT를 비롯한 오늘날 생성형 AI의 핵심 기술인 '트랜스포머(Transformer)' 구조의 토대를 마련한 2017년 논문 '어텐션 이즈 올 유 니드(Attention Is All You Need)'의 공동 저자다.

고메즈가 2019년 공동 창업한 코히어는 기업과 정부를 대상으로 대규모언어모델(LLM)과 AI 플랫폼을 공급하는 AI 업체다. 일반 소비자를 대상으로 한 챗봇보다 기업용 AI 시장에 집중하고 있으며 보안과 데이터 프라이버시를 주요 경쟁력으로 내세우고 있다.

고메즈는 최근 CNBC의 '더 테크 다운로드(The Tech Download)' 팟캐스트에서 "AI 모델은 지금까지 만들어진 것 가운데 가장 강력한 사이버 무기"라며 "대규모로 보안 취약점을 찾아내고 이를 악용하는 데 놀라울 정도로 뛰어나다"고 말했다.

◆ 시험망 빠져나온 AI…외부 인터넷까지 접근

AI 업계가 긴장하게 된 대표적 사례는 지난 7월 오픈AI와 허깅페이스(Hugging Face)에서 발생했다.

오픈AI에 따르면 여러 AI 에이전트가 서로 통신한 뒤 인터넷 접근이 극도로 제한된 격리 시험 환경을 빠져나왔다. 이들은 이후 외부 인터넷에 접속했고 오픈소스 AI 개발 플랫폼을 운영하는 허깅페이스에까지 접근했다.

고메즈는 이 사건을 두고 "상당히 충격적이었다"고 했다.

앤스로픽(Anthropic)에서도 비슷한 일이 잇따랐다. 앤스로픽은 지난 7월 AI 모델이 평가 환경에서 인터넷에 접속해 서로 다른 세 조직의 실제 운영 인프라에 무단으로 접근한 사건 3건을 확인했다고 밝혔다. 지난주에는 네 번째 사례도 추가로 공개했다.

AI가 인간의 지시에 따라 해킹을 보조하는 수준을 넘어 여러 AI 에이전트가 서로 소통하며 자율적으로 움직일 수 있다는 우려가 현실로 나타나기 시작한 것이다.

고메즈는 "사이버보안은 전쟁의 최전선"이라며 "AI 모델 때문에 사이버 영역의 최전선은 과거보다 훨씬 크게 확대됐다"고 말했다.

그는 AI를 막기 위해서는 오히려 AI를 방어에 적극적으로 활용해야 한다고 주장했다. AI 모델을 이용해 기업 시스템의 취약점을 공격자보다 먼저 찾아내고 이를 보완해야 한다는 것이다.

고메즈는 "그것이 아마 우리 스스로를 안전하게 지키는 가장 좋은 방법"이라며 "지금 당장 최우선 과제가 돼야 한다"고 했다.

◆ 아모데이 "6~12개월 뒤 인터넷 전체 장악할 수도"

AI의 사이버 공격 능력은 최근 AI 업계에서 확산하고 있는 '개발 속도 조절론'의 주요 근거로도 떠올랐다.

다리오 아모데이 앤스로픽 CEO는 최근 에세이에서 AI 기업들이 첨단 모델의 능력을 발전시키는 속도를 늦춰야 한다고 주장했다. 그가 대표적인 위험 사례로 지목한 것도 오픈AI의 허깅페이스 접근 사건이었다.

아모데이는 "아무도 다치지 않았고 경제적 피해도 미미했기 때문에 이 사건을 대수롭지 않게 여기는 것은 쉽다"면서도 더 강력한 능력을 가진 AI 에이전트들이 인간의 의도와 어긋난 방식으로 움직였다면 "재앙적인 피해"가 발생할 수 있었다고 경고했다.

특히 현재와 같은 속도로 AI가 발전할 경우 앞으로 6~12개월 안에 AI 에이전트 집단이 "인터넷 전체를 장악"할 정도의 능력을 갖출 수 있으며, 이 경우 수천억달러의 피해가 발생할 가능성이 있다고 주장했다.

아모데이는 이를 막기 위한 방안으로 AI 모델에 대한 제3자 평가와 AI 기업 간 공조, 민주주의 국가 간 협력 등을 제시했다.

오픈AI의 샘 올트먼 CEO와 xAI를 이끄는 일론 머스크도 아모데이의 문제의식에 공개적으로 동조했다.

올트먼은 "독립적인 평가기관에 직원과 비슷한 수준의 접근 권한을 제공하는 것은 훌륭한 생각이며 우리도 그렇게 하겠다"고 밝혔다. 머스크도 "다리오가 옳다"고 했다.

◆ "위협은 더 이상 해커 한 명 아니다"

사이버보안 업계에서는 AI가 해킹의 방식 자체를 바꾸고 있다는 경고가 나온다.

조지 커츠 크라우드스트라이크(CRWD) CEO는 "위협의 단위는 더 이상 해커가 아니다. 이제는 자율적인 공격 캠페인"이라고 말했다.

그는 "여러 AI 에이전트가 협력해 기계의 속도로 공격 작전을 수행하는 것을 보고 있다"고 했다.

커츠는 기업에서 활동하는 AI 에이전트가 통제에서 벗어날 경우 즉시 작동을 중단시킬 수 있는 '킬 스위치(kill switch·긴급 정지 장치)'가 필요하다고 주장했다. 사이버 방어 역시 AI를 이용해 자율화하되 중대한 영향을 미치는 결정의 최종 통제권은 인간이 가져야 한다는 것이다.

다만 AI 개발 자체를 늦추는 방안에는 현실적인 한계가 있다고 지적했다.

커츠는 "최첨단 기술은 움직이는 속도대로 움직일 것"이라며 "세계의 나머지 국가들은 속도를 늦추지 않을 것"이라고 말했다. 이어 "사이버보안 업계의 임무는 기술 발전을 막는 것이 아니라 그것이 안전하고 보안이 확보된 상태에서 발전하도록 만드는 것"이라고 했다.

◆ "AI가 인류 죽일 가능성 10% 이상"…美 의회도 규제 착수

AI가 인류 자체를 위협할 수 있다는 경고도 잇따르고 있다.

앤스로픽의 AI 정렬 책임자인 에번 휴빙거는 향후 10년 안에 AI가 "모든 인간을 죽일" 가능성이 10% 이상이라고 믿는다고 밝혔다.

앤스로픽 연구원 제이컵 콕슨도 최근 회사를 떠나면서 앤스로픽과 오픈AI가 "우리의 목숨을 걸고 도박하고 있다"고 주장했다.

AI 업계 내부에서 경고가 잇따르자 미국 의회도 규제에 속도를 내고 있다.

최근 미 의원들은 일정 수준 이상의 강력한 AI 시스템을 개발하는 기업에 모델의 작동을 완전히 중단하거나 성능을 제한·정지할 수 있는 기능을 갖추도록 하는 'AI 킬 스위치법(AI Kill Switch Act)'을 비롯한 여러 규제 법안을 내놨다.

민주당 소속 로리 트라한 매사추세츠주 하원의원은 AI 규제에 대한 의회의 초당적 지지가 "전환점에 도달했다"고 말했다.

아모데이 역시 규제를 AI 개발 속도를 조절할 수 있는 "가장 효과적인 방법"으로 꼽으며 투명성 강화와 제3자 감사를 중심으로 한 규제가 필요하다고 주장했다.

◆ AI 속도 늦추면 중국은?…美가 마주한 딜레마

문제는 AI 개발 속도를 실제로 늦추는 것이 가능하느냐다.

고메즈는 정부 감독기관이 존재했다고 해도 오픈AI의 허깅페이스 접근 사건을 막을 수 있었을지는 의문이라고 지적했다.

그는 "정부기관이 무언가 기여할 수 있었을 것이라고 생각하는 것은 다소 희망적인 생각"이라면서도 "개발 속도를 늦춰야 한다는 요구는 분명 이해한다"고 말했다.

가장 큰 걸림돌은 중국과의 AI 패권 경쟁이다.

고메즈는 "동시에 중국과의 경쟁이 있다"며 "우리가 어려운 상황에 놓여 있다고 생각한다"고 했다.

미국 AI 기업들이 안전을 이유로 개발 속도를 늦추는 사이 중국이 계속 기술 개발을 가속한다면 미국이 AI 경쟁에서 뒤처질 수 있다는 것이다.

결국 미국 AI 업계는 '역대 가장 강력한 사이버 무기'가 될 수 있는 기술의 속도를 통제해야 한다는 요구와 중국과의 AI 패권 경쟁에서 속도를 늦출 수 없다는 현실 사이에 놓이게 됐다. AI 개발의 가속페달과 브레이크를 어디까지 밟을지를 둘러싼 논쟁은 더욱 거세질 전망이다.

koinwon@newspim.com