이 기사는 9월 25일 오전 11시42분 '해외 주식 투자의 도우미' GAM(Global Asset Management)에 출고된 프리미엄 기사입니다. GAM에서 회원 가입을 하면 9000여 해외 종목의 프리미엄 기사를 보실 수 있습니다.

[서울=뉴스핌] 황숙혜 기자 = 클라우드플레어(NET)는 최근 구글에 도전장을 내밀어 또 한 차례 월가의 조명을 받고 있다.

주요 외신에 따르면 업체는 웹 콘텐츠에 대한 AI 접근을 제어하기 위한 콘텐츠 시그널 정책(Content Signals Policy)를 발표했다.

웹사이트 소유자와 퍼블리셔, 그리고 콘텐츠 제작자들에게 AI 시스템이 콘텐츠에 접근하고 활용하는 방식을 보다 강력하게 통제할 수 있도록 설계된 새로운 정책 프레임워크를 공개했다는 소식이다.

시장 전문가들은 업체의 콘텐츠 시그널 정책이 구글의 AI 오버뷰스(AI Overviews)를 겨냥한 것이라고 말한다.

웹은 전통적인 검색 엔진에서 AI 기반의 소위 '답변 엔진(answer engines)'으로 대대적인 변화를 나타내고 있다. 답변 엔진은 원 출처로 연결되지 않은 채 스크랩된 콘텐츠로 직접 응답을 생성한다. 이는 클릭과 조회수, 광고 수익으로 보상 받는 기존의 트래픽 기반 모델을 위협한다.

오픈AI를 포함한 대부분의 AI 기업들은 검색 서비스용 웹 크롤러와 AI용 크롤러를 구분해 운영한다. 반면 구글의 메인 검색 크롤러는 웹사이트에서 데이터를 수집해 전통적인 검색 결과뿐 아니라 AI 오버뷰스 같은 AI 기반 답변 엔진에도 공급한다.

워커스 AI 플랫폼 구조 [자료=업체 제공]

클라우드플레어의 매튜 프린스 최고경영자(CEO)는 비즈니스 인사이더와 인터뷰에서 "새로운 봇 정책과 라이선스는 구글의 데이터 스크래핑 우위를 겨냥하고, 경쟁 조건을 공정하게 조정할 것"이라고 말했다.

그는 "모든 AI 답변 엔진은 동일한 규칙을 따라야 한다"며 "구글은 검색과 AI 답변 엔진용 크롤러를 결합해 독특하고 불공정한 이점을 누리고 있다"고 지적했다.

클라우드플레어 주가 추이 [자료=블룸버그]

이번에 발표된 클라우드플레어의 콘텐츠 시그널 정책은 기존의 웹 크롤링 봇 관리 서비스 위에 구축됐고, 특히 AI 크롤러와 데이터 스크레이퍼를 겨냥하 새로운 신호를 추가했다.

웹사이트들은 robots.txt라는 표준을 사용해 봇이 데이터에 접근하는 방식을 통제한다. 이 시스템은 웹 초기에 만들어진 것으로, 사실상 '신사협정'에 가깝고 일부 AI 기업들은 데이터 수요가 워낙 커 이를 무시하고 여전히 사이트를 크롤링한다.

이미 380만개 이상의 도메인이 클라우드플레어의 robots.txt 서비스를 사용 중이다. 이번에 업체는 AI 봇 크롤러를 보다 정교하고 강력하게 차단 또는 허용할 수 있는, 사실상 새로운 웹 라이선스를 도입한 셈이다.

프린스 최고경영자는 이 라이선스가 특히 구글과 관련해 법적 효력을 지닐 수 있다고 주장한다. 구글 법무팀이 이를 무시할 수 없는 계약으로 보게 되고, 무시할 경우 법적 결과가 뒤따를 것이라는 얘기다.

클라우드플레어가 전체 웹의 약 20%를 운영하고 있기 때문에 라이선스가 9월24일(현지시각)부터 자동으로 수 백만 개의 웹사이트에 적용되고 있다고 그는 전했다.

시장 전문가들은 구글이 선택의 기로에 섰다고 말한다. 검색 엔진용 크롤링을 중단함으로써 방대한 콘텐츠를 놓치거나 크롤러를 전통적인 검색용과 AI 답변용 엔진으로 분리해 따로 운영해야 한다는 설명이다.

클라우드플레어는 이번 발표에서 특히 구글의 AI 오버뷰스를 언급하며 새로운 설정들이 AI 오버뷰스나 추론(inference), 즉 AI 모델이 데이터를 기반으로 결론을 도출하고 출력을 생성하는 과정을 위해 데이터를 수집하는 봇을 차단할 수 있게 해준다고 강조했다.

프린스 최고경영자(CEO)는 "인터넷을 해법을 기다릴 만큼 여유가 없다"며 "창작자들의 원본 콘텐츠가 다른 기업들의 이익 창출에 이용되고 있다"고 주장했다.

그는 오픈AI가 검색용 크롤러와 AI 운영을 위한 크롤러를 구분한다는 점에서 더 책임 있는 태도를 보이고 있다고 평가했다.

구글은 새로운 AI 검색 기능이 여전히 웹사이트로 트래픽을 보내며, 따라서 더 높은 품질의 트래픽을 보낼 수도 있다고 주장해 왔다. 또 경영진은 웹의 건강성과 활력을 중시한다고 강조했다.

클라우드플레어의 새로운 툴은 창작자가 자신의 콘텐츠에 대한 사용 여부를 예(yes) 또는 아니오(no)로 명확하게 표현할 수 있게 한다.

더 중요한 사실은 이 정책이 검색과 AI 입력, AI 모델 훈련이라는 서로 다른 활용 방식을 구분하고, robots.txt 선언문이 '법적 의미'를 가질 수 있다는 것을 상기시킨다는 점이다.

업계 전문가들은 클라우드플레어의 콘텐츠 시그널 정책이 AI의 웹 콘텐츠 수집 및 활용 방식에 직접적인 제어권을 제공하는 새로운 접근 방식이라고 평가한다.

이로 인해 AI 시장과 빅테크, 그리고 웹사이트 운영자 모두에게 의미 있는 변화와 파장을 불러올 수 있다는 관측이다.

업체의 정책은 기존의 robots.txt 표준보다 한 단계 더 나아가 'AI 접근 관리 명세'를 웹사이트에 등록할 수 있게 한다. 즉, 단순히 크롤링을 허용하거나 차단하는 수준을 넘어 AI가 수집한 데이터를 검색 결과용과 AI 답변 생성용, AI 훈련용 등 용도별로 허락하거나 제한할 수 있다는 설명이다.

웹사이트 운영자, 즉 창작자는 AI와 검색 엔진이 콘텐츠를 수집, 재가공, 학습용으로 쓰기 위해 명시적인 허락을 받아야 하며 용도별로 세부적인 제한을 걸 수 있다.

클라우드플레어가 네트워크 트래픽의 약 20%를 처리하는 만큼 글로벌 웹 생태계의 큰 부분에서 작지 않은 변화가 예상된다.

지금까지 구글과 일부 AI 기업들은 robots.txt를 무시하거나 검색 및 AI 크롤러를 결합해 대량의 데이터를 자유롭게 수집했다. 이번 정책은 구글이 이 관행을 유지할 경우 법적 분쟁 위험까지 처할 수 있게 한다.

AI 기업들이 무단 크롤링이나 원작자 동의 없는 AI 학습 모델 개발을 계속하게 어려워진다는 의미다. AI 모델 학습에 쓸 데이터가 줄어들 수밖에 없다고 시장 전문가들은 말한다.

클라우드플레어의 정책으로 수혜를 보는 쪽은 웹사이트 운영자와 데이터 및 콘텐츠 생산자, 언론사 등이다. AI 크롤러로 인한 무단 데이터 수집과 트래픽 및 광고 수익 악화를 막을 수 있기 때문이다.

시장 전문가들은 클라우드플레어의 새로운 정책이 웹 생태계의 힘을 원작자와 운영자에게 돌려주는 한편 빅테크와 AI 기업의 콘텐츠 활용 관행에 질서를 바로잡는 신호탄이라고 의미를 부여한다. 아울러 클라우드플레어의 위상을 보여주는 단면이라는 해석이다.

shhwang@newspim.com