网站引入Anubis抗抓取技术：用工作量证明保护服务器免受AI侵扰

2023年，一家网站管理员为了保护服务器免受AI公司的大规模网络爬虫攻击，引入了一项名为Anubis的技术。这些攻击不仅严重消耗了网站资源，还导致了服务不可用的问题，严重影响了用户的正常使用。Anubis通过一种类似于Hashcash的“工作量证明”机制，为每个访问请求增加一定的计算成本，从而在小规模访问时几乎不产生影响，而在大规模爬取时显著提高其经济成本，有效地遏制了恶意爬虫的行为。 工作量证明机制的核心思想是增加访问者的计算负担。当一个请求发送到受Anubis保护的网站时，服务器会要求客户端完成一项计算任务，验证完成后才能继续访问。这一机制对普通用户来说几乎没有额外负担，但却能有效地阻止自动化爬虫的大批量访问。这是因为自动化爬虫往往缺乏处理复杂计算的能力，或需要付出更高的成本来完成这一验证过程，使其变得不再经济可行。 这一技术的应用不仅有助于减少恶意爬虫的数量，还可以为网站管理员提供更多的时间来研究更先进的识别方法。例如，通过分析无头浏览器（如某些爬虫使用的工具）在字体渲染等方面的特点，可以更精准地辨别出哪些访问者可能是恶意爬虫。这种方法能够进一步优化用户体验，减少需要面对工作量证明页面的合法用户的数量。 值得注意的是，Anubis依赖于现代JavaScript功能，而一些安全插件（如JShelter）可能会禁用这些功能。因此，网站方面建议用户在访问该网站时暂时关闭这类插件，以确保正常访问不受影响。目前，Anubis已更新至1.20.0版本，持续优化中。 业内专家表示，Anubis技术是一种临时性但高效的解决方案，它在保护网站资源的同时，也为更深层次的安全防护措施提供了时间窗口。这一创新不仅体现了网站管理员在应对自动化攻击方面的智慧，还展示了技术社区在对抗恶意行为时的积极态度。希望未来有更多类似的创意和技术涌现，为互联网安全贡献力量。 对于面临类似问题的企业和个人，Anubis提供了一个低成本且有效的解决方案。随着网络环境日益复杂，这种创新的安全举措具有重要的参考价值。