防爬机制的思路合集，How-To-Prevent-Scraping这个项目真挺实用的。作者在 GitHub 上整理了自己在 Stack Overflow 上的长回答，覆盖得细，像是怎么识别 UA、怎么设置 rate limit、甚至怎么用 JS 干扰爬虫脚本，内容超 4 万字，看得出来是真干过、真踩过坑。

大部分网站都躲不过被爬，尤其你页面里放了点产品信息、文章内容、甚至搜索接口，分分钟被扒光。这份指南从攻击者角度常见爬虫手段，再讲怎么逐一防御。比如：识别 IP、验证码、登录墙、动态内容渲染……都讲到了，而且不生硬，代码片段也不少。

对了，文末还提醒了一个现实的问题：你防得越狠，真用户和搜索引擎就越难用。所以做防爬的时候要权衡，不能一刀切。像是对 Googlebot 就要放行，对人类要有容错，别弄得像银行登录一样复杂。

如果你维护的是内容型网站，或者数据价值比较高的产品页，这份指南值得你花点时间通读一遍。你不一定全照抄，但能知道现在都有哪些手段，自己怎么组合。实战味重，挺推荐的。

顺带一提，如果你对相关安全内容感兴趣，可以看看这几个文章：

，防爬不是一招制敌，是个组合拳，要看你想防谁、防多狠。如果你正被爬得烦躁，可以从这份指南里找些灵感。