클라우드플레어, AI 봇 대응 신무기 'AI 미로' 출시

최근 눈에 띄는 데이터 포인트가 하나 있습니다. 사이버보안 기업 탈레스(Thales)에 따르면, 이제 인터넷 트래픽의 대부분은 사람이 아니라 봇이 생성한다고 합니다. 이 현상은 구글, 오픈AI, 안쓰로픽 같은 대기업과 AI 연구소들이 인터넷을 헤집고 다니며 저작권이 있는 콘텐츠를 무료로 수집하는 웹 크롤러들의 활동으로 인해 일어나고 있습니다. 웹 크롤러들은 점점 더 고도화되고 있으며, 정보를 수집하여 AI 학습 데이터셋에 공급하는 데 사용됩니다. 이들 봇은 허가 없이 데이터를 가져가고, 때로는 웹사이트 소유자와 콘텐츠 제작자의 비용을 증가시키는 트래픽 급증을 초래하기도 합니다. 이런 문제를 해결하기 위해 새로운 방법이 등장했습니다. 완전히 봇을 차단하는 것이 어려울 경우, 봇들이 의미 없는 콘텐츠를 수집하도록 유도하는 것입니다. 최근 한 소프트웨어 개발자가 이를 "사악하되 좋은"(diabolical) 방법이라고 표현했습니다. 클라우드플레어(Cloudflare)에서 개발한 'AI 미로(AI Labyrinth)'라는 도구가 이 방법을 구현합니다. 클라우드플레어는 "새로운 대응 방식"이라고 설명하며, AI 미로는 생성형 AI를 이용해 정보를 제공하는 것이 아니라, 혼란을 주는 역할을 합니다. 'no crawl' 지시를 무시하는 봇의 활동을 감지하면, 클라우드플레어는 실제처럼 보이지만 실제로는 관련 없는 AI 생성 콘텐츠로 구성된 미로를 배치합니다. 이 미로는 봇의 시간을 낭비시키고, AI 회사들의 컴퓨팅 파워를 소모시키도록 설계되었습니다. 전통적인 해니팟(honeypot)과 달리, AI 미로는 인간에게는 보이지 않지만 봇들에게는 매우 매력적으로 보이는 연결된 페이지 네트워크를 생성합니다. 이 가짜 페이지들은 검색 엔진 최적화(SEO)에 영향을 주지 않고, 검색 엔진에 의해 색인화되지 않습니다. 대신, 봇들은 이 미로에서 의미 없는 내용을 계속 따라가게 되면서 그들의 행동 패턴을 노출하게 됩니다. 이러한 데이터는 클라우드플레어의 진화하는 머신러닝 모델에 직접 입력되어, 고객들에게 더 나은 검출을 제공합니다. 클라우드플레어의 제품 부사장 윌 앨런(Will Allen)은 최근 발표에서 80만 개 이상의 도메인이 회사의 일반 AI 봇 차단 도구를 사용하고 있다고 밝혔습니다. AI 미로는 이러한 봇 차단 도구들이 우회되는 상황에서 추가적으로 사용될 수 있는 무기입니다. 클라우드플레어는 아직 AI 미로를 사용하는 고객 수에 대한 데이터를 공개하지 않았는데, 이는 초기 단계이기 때문일 것으로 추측됩니다. "아직 너무 새롭기 때문에, 그 특정 데이터 포인트는 아직 공개하지 않았습니다,"라고 앨런은 말했습니다. 저는 앨런에게 이미 인터넷의 대부분 데이터가 모델 학습을 위해 스크레이핑되었다면, 왜 여전히 AI 봇들이 활발한지를 물었습니다. "새로운 콘텐츠"라는 답변이 돌아왔습니다. "만약 제가 '샌프란시스코에서 가장 좋은 레스토랑은 무엇인가?'라는 질문을 한다면, 지난 주의 고품질 콘텐츠를 보여주는 것이 1~2년 전의 콘텐츠보다 훨씬 낫습니다. 과거 정보는 이미 시효가 지났을 수 있습니다." 클라우드플레어의 전략은 이러한 요구를 역으로 활용하는 것입니다. 값진 새로운 콘텐츠를 제공하는 대신, 봇들에게 무한한 양의 합성 글을 제공합니다. 각각의 글은 더욱 관련성이 없는 것으로 설계되어, 봇들의 활동을 제한하고 컴퓨터 자원을 소모시키는 역할을 합니다. AI 스크레이퍼가 점점 더 흔해지는 만큼, AI 미로와 같은 혁신적인 방어책은 필수적입니다. 클라우드플레어는 단순히 나쁜 행위자를 차단하는 것이 아니라, 그들을 지치게 하는 똑똑한 방어층을 도입하였습니다. 웹 관리자들은 클라우드플레어 대시보드에서 스위치를 누르는 것만으로도 AI 미로를 쉽게 활성화할 수 있습니다. 이는 AI 시대에 원본 콘텐츠의 불법 이용을 막는 데 큰 도움이 될 수 있는 작은 단계입니다. industry insiders, company profiles and other information: 업계 전문가들은 클라우드플레어의 AI 미로 접근 방식을 긍정적으로 평가하고 있습니다. 이 방식은 단순한 차단을 넘어, 불법 스크레이핑을 시도하는 봇들의 활동을 효과적으로 저해할 수 있다는 점에서 혁신적입니다. 클라우드플레어는 글로벌 CDN 및 사이버보안 서비스 제공업체로, 수많은 웹사이트와 온라인 서비스를 보호하는 데 앞장서고 있습니다. AI 미로는 이러한 노력의 일환으로, AI 기술을 활용해 스스로를 보호하는 방안을 제시하고 있습니다.