爬虫控制：批量页面只有一部分被发现时怎样划分对照组
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /e7b49265fc63.html
📄
爬虫控制：批量页面只有一部分被发现时怎样划分对照组
先给结论：当批量页面只被发现一部分时，对照组不要按“已发现”和“未发现”直接分组，而要先按可抓取条件分组——把抓取权限、入口可达性、页面自身响应分开。缺少日志或站长工具权限时，最小动作是构造两组URL清单各取一批，用同一请求头、同一时间窗口抓取，记录状态码与响应体特征；这只能说明“当前请求条件下哪些可被抓到”，不能推出搜索引擎一定会收录或已经索引。
条件一：能拿到服务端日志或抓取统计时怎么分
有日志时，划分对照组的关键是让两组只在“被发现的路径”上不同，其他变量尽量一致。可以这样做：
- 从同一批页面模板中抽取两组，每组数量相同，目录层级、内链数量、发布时间尽量接近。
- A组放在站点地图中，B组不放入站点地图，但两组都保留正常内链。
- 分别统计两组在日志中出现的抓取次数、首次抓取时间、抓取状态码。
如果A组被抓取次数明显高于B组，只能说明站点地图在这段时间内影响了抓取入口的到达率。它不能证明站点地图保证收录，也不能排除内链位置、页面质量或服务器响应速度的干扰。下一步应把B组补进站点地图再观察一轮，若差异缩小，才更有理由把“入口缺失”当作主因。
条件二：没有日志和权限时，用请求对照代替
缺少服务端数据时，不要假装能还原搜索引擎行为。可执行的替代动作是：准备两组URL，用相同请求头、相同频率、相同超时设置，从外部发起抓取，记录以下内容：
- HTTP状态码与重定向链长度。
- 返回内容是否包含目标正文的关键片段。
- 响应耗时是否显著高于同批其他页面。
假设两组各20条URL，A组全部返回200且正文完整，B组有若干条返回200但正文为空、或返回403、或多次跳转。此时合理的分组结论是“B组存在响应层障碍”，而不是“搜索引擎不收录B组”。因为外部请求成功不等于搜索引擎会抓取，抓取成功也不等于进入索引。若两组响应特征一致，则问题更可能出在发现路径或页面价值判断上，需要回到入口和内容层面继续排查。
划分对照组时要固定的变量
无论有没有日志，以下变量如果不固定，分组结论就不可比：
- URL形态：参数、大小写、结尾斜杠是否一致。
- 请求身份：User-Agent、Cookie、来源IP段是否一致。
- 时间窗口：两组是否在同一时段被请求，避免把发布节奏差异当成抓取差异。
- 页面模板：是否来自同一套渲染逻辑，避免把模板差异当成路径差异。
动作上，先固定这些变量再分组；如果固定不了，就缩小结论范围，只描述“在当前请求条件下两组表现不同”，不上升到抓取规则或索引策略层面。
哪些现象不能单独作为判断依据
请求量、抓取量或某个统计归零，不能单独证明处理正确。它们还可能是：统计口径变化、采样窗口错位、CDN缓存命中、请求被限流、页面本身被合并或删除。robots.txt中的抓取限制不等于可靠的索引移除；站点地图不保证收录。若对照实验后B组仍未被发现，下一步应检查入口是否可被稳定到达、页面是否返回一致内容，而不是直接修改抓取规则。
例外：页面本身不该被同等对待时
如果两组页面在业务上本就不同，例如一组是筛选结果页、另一组是详情页，那么按发现与否分组没有意义。此时应先按页面类型分组，再在同类内部比较入口差异。只有当同类页面中出现“部分被发现、部分未发现”时，才适合用前面的对照方法继续缩小范围。否则得出的差异可能只是页面类型差异，而不是抓取控制造成的差异。
