클라우드플레어, AI 스타트업 퍼플렉시티를 데이터 훔치기 협박으로 적발

AI 데이터 경쟁 속, 퍼플렉시티가 웹 크롤링 논란에 휘말렸다. 미국의 인프라 기업 클라우드플레어는 최근 퍼플렉시티가 웹사이트의 차단 명령을 무시하고 데이터를 강제로 수집한 사실을 포착했다고 밝혔다. 클라우드플레어는 허위로 만든 비공개 웹사이트를 만들어 로봇 배제 규칙(robots.txt)으로 완전히 차단했지만, 퍼플렉시티는 이 사이트에 대한 구체적인 정보를 응답하며 스파이처럼 작동한 것으로 드러났다. 이는 웹 표준을 위반한 행위로, 클라우드플레어는 퍼플렉시티를 공식 인증된 봇에서 제외하고, 차단 기술을 강화했다. 퍼플렉시티는 초기에는 공식 크롤러로 접근했으나, 차단당한 후에는 정체를 숨기기 위해 일반 브라우저처럼 보이게 만든 비공식 크롤러를 사용하며 IP 주소를 자주 변경하고, 비공식 ASNs(ASN: 자율 시스템 번호, 인터넷 트래픽 라우팅을 위한 고유 식별자)를 활용해 감지되지 않도록 했다. 반면 오픈AI는 차단 규칙을 준수해 봇을 즉시 중단하는 등 투명한 방식을 보였다. 클라우드플레어는 이 사건을 AI 기업들이 웹의 기본 원칙을 존중해야 한다는 신호로 삼았으며, 데이터를 무단으로 수집하는 행위는 기술적 문제를 넘어 신뢰를 훼손하는 행위임을 강조했다.