当页面数量从几十页增长到几百上千页,手工逐页改标题、逐条查死链、逐个看收录,会从“细致”变成“失控”。更实际的分界线是:凡是需要穷举全站、需要重复同一判断、或需要按固定周期复查的工作,都应转为脚本、模板或批量规则;而涉及意图判断、内容取舍和异常归因的工作,仍应保留人工。下面按两种常见条件说明取舍。
如果站点使用同一套模板,且标题、描述、内链、分页这类元素需要成批调整,手工逐页处理的代价不只是慢,还会带来不一致。假设一个站有八百个产品页,运营决定把标题里的品牌词统一后移。手工改需要打开每个页面或后台记录,改到一半时新模板上线,前面改过的和后面没改的就会混在一起。
这类工作的合理动作是:先在<head>和模板层确认输出规则,再用批量脚本或规则生成改动,最后抽检若干类页面。抽检结果决定下一步:如果模板层正确,个别页面因特殊字段偏离,就只处理这些例外;如果抽检发现整类页面都错,说明规则本身有问题,应回退规则而不是继续逐页修补。
适用条件要写清:批量改动只适用于字段来源一致、页面类型可枚举的情况。若每个页面的卖点、受众和搜索意图都不同,标题和描述就不该用同一条公式套完,这时手工或半手工反而更稳。
死链、重定向链、缺失的规范标签、图片替代文本、页面状态码,这些检查有明确输出,适合交给爬虫或站点监控。手工点开页面只能看到当前渲染结果,无法覆盖全站,也无法在每次发版后重复同一套检查。
实施时可以这样分:先用爬虫跑一遍全站,导出状态码异常、跳转层级过深、可索引状态不一致的清单;再按页面类型分组,而不是按发现顺序逐条修。修复后重跑同一套检查,比较前后差异。若异常数量下降但某些高价值目录仍然报错,下一步应优先查这些目录的模板和发布流程,而不是继续扩大爬取范围。
这里有个容易误判的地方:抓取量或某项统计归零,不能单独证明处理正确。它可能来自屏蔽规则、服务器返回变化、抓取预算重新分配,也可能只是本次任务配置不同。要结合服务器日志、索引状态和页面实际返回内容一起看。
关键词意图归类、内容是否值得保留、页面之间是否该合并、外链或合作资源是否可信,这些没有稳定的批量规则。把它们交给脚本,常见结果是生成大量看似整齐、实际互相竞争或偏离用户需求的页面。
一个可操作的分界方法是:先问这项工作能否写成“对每个页面执行同一判断”。能,就优先自动化;不能,就保留人工,并用清单降低遗漏。自动化省下的是重复劳动,不是判断本身。
第一步,选一个页面类型做试点,例如文章页或产品页,记录当前手工处理一页需要哪些字段和判断。第二步,把可枚举的字段抽出来,写成规则或脚本,先只输出清单,不直接改线上。第三步,人工核对清单中的前若干条,确认规则没有把例外当成常规。第四步,执行改动并保留回滚方式。
代价也要提前说:批量规则会放大错误。一条标题公式写错,影响的是整类页面;一次错误的重定向规则,可能让大量链接指向同一地址。因此批量操作必须配合抽检、版本记录和回滚方案。相反,如果站点只有几十页、页面差异极大、更新频率很低,手工处理加上简单表格管理,成本可能更低,也更不容易误伤。
判断是否该继续手工,不看工具是否高级,而看这项工作是否满足三个特征:重复、可枚举、需要全站覆盖。满足就转批量;涉及意图、取舍和归因,就留人工。这样划分后,团队的时间会更多花在决定“改什么”上,而不是花在“一页一页改”上。