클라우드플레어, AI 봇 스크레이핑 차단 및 유료화 시장 출시

클라우드플레어(Cloudflare), 웹의 약 20%를 지원하는 클라우드 인프라 제공업체가 웹사이트 소유자와 AI 기업 간의 관계를 재구성하기 위해 새로운 마켓플레이스를 출시했습니다. 이는 출시된 지 1년 된 AI 크롤러 대응 도구들이 토대를 마련한 결과로, 특히 출판사들이 AI 크롤러의 무단 접근으로부터 자신의 콘텐츠를 보호할 수 있는 여러 도구를 제공해왔습니다. 이제 클라우드플레어는 이러한 노력을 확장하여 'Pay per Crawl'이라는 실험적인 마켓플레이스를 출시했습니다. Pay per Crawl 출시 배경 및 진행 과정 클라우드플레어는 2023년부터 웹사이트 소유자들이 AI 크롤러를 차단할 수 있는 옵션을 제공했으며, 2024년에는 이를 한 번 클릭으로 모든 AI 봇을 차단할 수 있는 시스템을 도입했습니다. 또한 AI 크롤러가 사이트를 방문하는 방식을 모니터링할 수 있는 대시보드도 제공되었습니다. 이러한 도구들은 클라우드플레어 CEO 매튜 프린스(Matthew Prince)가 언급한 바와 같이, 새로운 유형의 마켓플레이스 구축을 위한 기반이 되었습니다. Pay per Crawl의 주요 특징 Pay per Crawl는 웹사이트 소유자들이 AI 크롤러에게 자사 콘텐츠의 접근 권한을 개별적으로 부여하고, 각 크롤링에 대한 미세 결제를 받을 수 있도록 하는 시스템입니다. 웹사이트 소유자들은 크롤링을 무료로 허용하거나 완전히 차단할 수도 있습니다. 클라우드플레어는 이 도구를 통해 웹사이트 소유자들이 AI 크롤러가 콘텐츠를 어떤 목적으로 수집하는지 확인할 수 있게 할 계획입니다. 새로운 정책의 영향과 반응 클라우드플레어는 새로운 정책을 통해 모든 새 도메인에 대해 AI 크롤러의 기본 설정을 '차단'으로 변경하였습니다. 이는 웹사이트 소유자들이 AI 크롤러의 접근을 명시적으로 허용해야 함을 의미합니다. 클라우드플레어는 이를 '허가 기반 접근' 모델로 설명하며, 콘텐츠 창작자들이 자신의 작업을 보호하면서 AI 기업들이 책임감 있게 혁신할 수 있도록 돕는 것을 목표로 삼고 있습니다. 이런 변화는 출판사들이 AI 시대에서 생존하기 위한 방법을 찾고 있는 상황에서 나왔습니다. 예를 들어, 뉴욕타임즈(New York Times)는 AI 모델 훈련을 위해 무단으로 콘텐츠를 사용한 기술 회사를 상대로 소송을 제기하기도 했습니다. 하지만 이러한 소송은 대형 출판사들만이 가능하며, 그 결과가 의미 있는 수익원이 될지는 아직 불확실합니다. 클라우드플레어의 Pay per Crawl는 이런 문제를 해결하기 위한 더 지속 가능한 시스템을 제안합니다. 크롤링 비율과 경제적 영향 클라우드플레어의 데이터에 따르면, 구글의 크롤러는 웹사이트를 참조할 때마다 14번씩 스크래핑하지만, AI 크롤러는 이보다 훨씬 더 많은 횟수를 차지합니다. 오픈AI(OpenAI)의 크롤러는 17,000번, 안트로믹(Anthropic)의 크롤러는 73,000번을 스크래핑하며, 실제로 참조되는 횟수는 매우 적습니다. 이는 출판사들이 AI 크롤러로부터 실질적인 트래픽이나 수익을 얻지 못하고 있다는 것을 시사합니다. 참여 출판사와 플랫폼 콘데나스트(Conde Nast), 타임(TIME), 연합뉴스(The Associated Press), 애틀랜틱(The Atlantic), 포춘(Fortune), 스택 오버플로우(Stack Overflow), 쿼라(Quora) 등 다수의 주요 출판사와 온라인 플랫폼들이 클라우드플레어의 새로운 AI 크롤러 제한 정책에 동참하거나 지지를 표명했습니다. 매튜 프린스는 "사람들이 최근 6개월 동안 AI를 더 신뢰하게 되면서 원본 콘텐츠를 읽지 않는 경향이 있다"고 지적하며, 원본 콘텐츠의 가치를 보호하는 것이 중요하다고 강조했습니다. 클라우드플레어의 전략 클라우드플레어는 AI 크롤러를 차단하는 것뿐만 아니라, AI 기업들이 크롤러를 검증하고 목적을 명시할 수 있도록 도움을 주고 있습니다. 웹사이트 소유자들은 이 정보를 바탕으로 어떤 크롤러를 허용할지 결정할 수 있습니다. 이는 원본 콘텐츠 제작자들이 자신의 창작물을 보호하면서도 AI 기업들이 필요한 데이터를 합법적으로 사용할 수 있는 길을 열어줍니다. 클라우드플레어의 Pay per Crawl는 현재 일부 선도적인 출판사와 콘텐츠 창작자들에게 제공되고 있으며, 앞으로 더 많은 참여자가 가입할 수 있도록 하는 과정이 진행 중입니다. 이 시스템은 AI 기업들이 콘텐츠를 사용할 때 필요한 비용을 지불하도록 하여, 원래는 무상으로 이루어졌던 데이터 수집을 새로운 수익 모델로 전환하려는 시도입니다. 전문가 및 업계의 의견 클라우드플레어의 새로운 정책은 AI 시대에서 콘텐츠 제작자의 권리를 보호하기 위한 중요한 단계로 평가받고 있습니다. 그러나 이 시스템이 성공하기 위해서는 많은 출판사와 AI 기업들의 참여가 필요합니다. AI 기업들은 현재 무료로 콘텐츠를 스크래핑하며 수익을 올리고 있기 때문에, 유료화를 받아들일 가능성은 아직 불투명합니다. 그럼에도 불구하고, 클라우드플레어는 이 시장에서 주도권을 차지할 수 있는 몇 안 되는 기업 중 하나로, 미래의 인터넷 경제 모델을 재정립하려는 용감한 시도를 하고 있습니다. 클라우드플레어의 이니셔티브는 AI 혁신을 중단시키지 않고, 지적 재산권을 지불하여 창작자를 보상하는 책임감 있는 성장을 촉진하는 것을 목표로 합니다. 이를 통해 인터넷의 자유롭고 활기찬 미래를 보장하려는 노력이 계속되고 있습니다.