HyperAI초신경
Back to Headlines

이 웹사이트는 AI 스크레이핑을 막기 위해 아누비스 1.20.0 버전을 사용 중입니다.

3일 전

이 웹사이트가 로딩되는 동안 '봇이 아닌지 확인' 페이지가 나타나는 이유는 관리자가 AI 회사들의 대량 웹사이트 스크래핑을 막기 위해 아누비스(Anubis)를 설정했기 때문입니다. AI 회사들은 자사의 목적을 달성하기 위해 웹사이트의 정보를 대량으로 수집하는데, 이로 인해 서버에 과부하가 걸려 웹사이트가 다운되거나 접속이 어려워지기도 합니다. 결과적으로 이러한 문제는 모든 사용자들이 필요한 자원에 접근할 수 없게 만듭니다. 아누비스는 해시캐시(Hashcash)와 같은 작업 증명(Proof-of-Work, PoW) 방식을 사용하여 이 문제를 해결합니다. 개인 사용자의 경우 추가적인 부하가 거의 무시할 수준이지만, 대량 스크래핑을 시도하는 AI 회사들에게는 비용이 크게 증가하게 됩니다. 이는 스크래핑 비용을 높여 이를 억제하는 효과를 가져옵니다. 아누비스의 궁극적인 목적은 시간을 벌어, 더 나은 솔루션을 개발하는 것입니다. 특히, 헤드리스 브라우저(headless browser)를 식별하고 지문화(fingerprinting) 하는 방법을 연구하고 있습니다. 헤드리스 브라우저는 사용자 인터페이스 없이 웹페이지를 로드하고 스크래핑하는 프로그램으로, 일반 사용자와 구분하기 어렵습니다. 아누비스는 이러한 브라우저의 폰트 렌더링 방식 등을 통해 그들을 식별하려고 노력하고 있으며, 이를 통해 합법적인 사용자에게는 작업 증명 페이지를 보여주지 않도록 하겠습니다. 아누비스 1.20.0 버전이 이 웹사이트에서 실행되고 있습니다. 이 시스템은 최신 JavaScript 기능을 사용하므로, JShelter와 같은 플러그인을 사용하면 제대로 작동하지 않을 수 있습니다. JShelter 또는 유사한 플러그인을 비활성화한 후 이 도메인을 이용하시기 바랍니다. 업계 전문가들은 아누비스의 도입이 긍정적인 영향을 미칠 것이라고 평가합니다. 웹사이트 관리자들은 이 시스템을 통해 불법 스크래핑을 효과적으로 차단할 수 있으며, 동시에 일반 사용자들의 편의성을 유지할 수 있기 때문입니다. 아누비스는 여전히 개선의 여지가 있는 솔루션이지만, 현재로서는 많은 웹사이트들이 직면한 문제를 해결하는 데 유용한 도구로 자리 잡고 있습니다.

Related Links