死链检测工具，批量页面只有一部分被发现时怎样划分对照组
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /993813d851c4.html
📄
死链检测工具，批量页面只有一部分被发现时怎样划分对照组
把“被发现”的页面和“未被发现”的页面直接对比，通常得不出可靠结论，因为两组的差异可能来自链接位置、页面质量或抓取预算，而不是你想验证的那个改动。可行的做法是先按一个可观测的差异维度把批量页面切成对照组和参照组，再让死链检测工具对两组给出同口径的检查结果，最后看差异是否稳定复现。
先确认“只有一部分被发现”属于哪种情况
在划分对照组之前，要先区分三种现象，因为它们的处理方式不同。
- 抓取层面：工具或搜索引擎抓到了页面，但页面返回状态异常、被robots.txt限制，或响应超时。此时“未被发现”更可能是抓取问题，而不是页面本身被判定为低价值。
- 索引层面：页面可抓取，但没有进入索引。原因可能是内容重复、质量判断、规范化指向他页，也可能只是尚未处理。
- 工具报告层面：死链检测工具本身按深度、并发或链接层级截断，导致部分页面根本没进入检测队列。这种情况下先修工具配置，再做对照才有意义。
判断依据不是某个数字归零，而是看同一批URL在不同入口下的表现是否一致。比如站点地图里存在的URL、内链可达的URL、以及工具报告里出现的URL，三者交集大小能说明问题出在哪一层。站点地图不保证收录，robots.txt的抓取限制也不等于可靠的索引移除，这两点会直接影响你怎么解释“未被发现”。
按一个可观测维度切分，而不是按结果切分
最常见的错误是拿“已被发现”和“未被发现”当两组。这样分组等于用结果解释结果，任何差异都必然存在，却无法归因。
应该选一个在检测之前就能确定的维度，例如：
- 链接深度：首页三次点击内可达的页面为一组，更深层级的为另一组。
- 内链数量：按站内入链数是否达到某个阈值分组，阈值按你自己站点的分布取中位数，而不是照搬外部经验值。
- 页面模板：同一模板生成的页面为一组，独立手工页面为另一组。
- 内容类型：商品页、文章页、标签页分别成组。
分组后，让死链检测工具对每组输出同口径的结果：状态码分布、重定向链长度、超时比例、被robots.txt拦截的比例。只有口径一致，组间比较才成立。
保留、改写还是退出：三种取舍的适用前提
拿到分组结果后，针对“未被发现”的那一组，通常面临三个方向的选择，但每个方向都有明确的前提。
保留并继续观察
适用前提是：该组页面在功能上仍被用户需要，且组内差异主要来自抓取时序而非内容质量。例如新上线的批量页面，工具报告里只出现了一部分，但内链结构完整、返回状态正常。此时合理动作是保持URL不变，等待下一轮抓取，同时记录两组的抓取覆盖率变化。如果下一轮参照组的覆盖率明显上升而对照组不动，说明差异是结构性的，继续等待没有意义。
改写后重新提交
适用前提是：两组在内容层面确有可区分的差异，例如标题重复率高、正文主体由模板拼接、或规范化标签指向了别的URL。改写的目标是让该组页面具备独立可索引的理由，而不是单纯加字数。改写后重新提交站点地图，并观察该组是否开始进入抓取队列。如果改写后仍无变化，问题可能不在内容，而在链接入口。
退出并做重定向或删除
适用前提是：该组页面没有独立搜索需求，或与另一组高度重复，保留只会分散抓取资源。此时应决定重定向到最相关的存活页面，还是返回410。选择依据是这些URL是否还有外部链接或用户收藏；有则重定向，无则可以直接移除。退出决策一旦执行，对照组就失去意义，应转为监控重定向目标页的状态。
一个注明假设的短例子
假设某站点有2000个商品页，死链检测工具报告只发现了800个。按内链数量分组后，入链数大于3的页面有1500个，其中1200个被发现；入链数小于等于3的页面有500个，其中只有100个被发现。这个对比提示差异更可能来自内链入口，而不是内容质量。
下一步动作是给低入链组补充来自分类页或相关商品模块的链接，然后重新运行检测。如果补充链接后该组的发现率上升，说明入口是主因，保留页面并继续优化内链即可；如果发现率不变，则需要回到内容层面检查重复度和规范化设置。这个例子中的数字仅用于说明比较方法，不代表任何真实站点的表现。
让对照组结论可复用的两个条件
第一，两组除了被检验的维度外，其他条件尽量接近。如果一组是商品页、另一组是文章页，那么模板、内容长度、更新频率都不同，结论无法归因到单一因素。
第二，记录每次检测的时间点和工具配置。并发数、抓取深度、是否跟随重定向这些设置变化后，前后两轮结果不可直接比较。把配置和时间一起记下来，下一次遇到“只有一部分被发现”时，才能判断是站点变了，还是检测条件变了。
