一个“&”字符,可能就能少拦下一大批正常用户。开发者 Simon Willison 这周分享:他用 Cloudflare 给站内搜索加验证码时,原本连最简单的 ?q=term 搜索都会被拦;改成“只有搜索 URL 里出现至少一个 & 符号才触发挑战”后,普通搜索就恢复正常。这不是花哨新功能,而是一个明确判断:AI 时代的网站防爬,重点已经不是拦得更狠,而是误伤更少。
这是什么
事情很简单。Willison 之前用 Cloudflare 的 Managed Challenge(托管挑战,一种自动决定是否弹验证码的人机验证机制)来防止爬虫过度抓取站内分面搜索页。问题是,规则太宽,导致正常用户搜索也频繁遇到验证码。
后来他把规则改成:只要路径是 /search/,并且查询字符串里包含 &,才触发挑战。背后的逻辑也直接:普通用户常见的是单个搜索词,而更复杂、带多个参数的 URL,更像批量抓取或程序化遍历。
这类规则的价值不在技术难度,而在思路变化。过去很多网站面对机器人流量,会优先选择整段封锁;现在更现实的做法是,找到“高风险行为特征”,只对那部分流量加摩擦。
行业怎么看
值得我们关心的是,这种“小修小补”其实反映了更大的行业现实:AI 抓取需求上升后,网站、CDN 和安全服务商都在重新平衡“开放访问”和“反滥用”。Cloudflare 这类基础设施平台,正在扮演互联网收费站和分流器的角色。
支持这种做法的人会认为,它比全面封锁更务实。搜索、内容站、文档站不可能完全关闭给机器访问,但如果正常读者也频繁被验证码打断,网站体验和搜索转化都会受损。精细规则至少能把“防抓取成本”更多施加在异常请求上。
但反对意见也很明确。第一,这类规则本质上是启发式判断,不是严格识别,聪明一点的爬虫很快就能模仿“正常 URL”。第二,规则越多,维护越复杂,小站长未必有能力持续调优。第三,验证码和挑战机制本身也在制造摩擦,尤其对移动端、海外网络环境或无障碍访问并不友好。也就是说,这更像缓解方案,不是终局方案。
对普通人的影响
对企业 IT:如果企业官网、知识库、商品库开始感到机器人流量压力,真正可执行的办法往往不是上更重的系统,而是先把访问规则做细,区分正常查询和异常遍历。
对个人职场:做产品、运营、内容平台的人,会越来越频繁碰到“增长”和“反爬”同时存在的矛盾。未来不少岗位需要理解一点基础流量治理逻辑,而不只是看页面转化。
对消费市场:普通用户大概率会看到更少“莫名其妙的验证码”,但这取决于网站是否愿意花精力做精细化配置。体验改善不会自动发生,它来自运营成本的投入。