站长实用工具：自动导出遗漏分页时怎样检查完整性
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /11b1aae41327.html
📄
站长实用工具：自动导出遗漏分页时怎样检查完整性
先看导出的分页清单与站点自身分页规律能否对上。若样本页对得上、规模化后开始缺页，问题通常不在导出动作本身，而在“哪些分页算有效分页”这个判断条件被放大后出现了例外。检查完整性的关键动作是：抽一组已知分页结构的页面，比对导出结果里的首尾页、空页和参数页，再决定是补规则还是改抓取范围。
两种条件下要做的选择不同
第一种条件：分页地址由路径递增构成，例如列表页以 /list/2、/list/3 这类形式出现。此时完整性检查可以直接以“序号连续性”为准，导出结果里缺哪个序号就是缺页。动作是取该栏目首尾各若干页，记下实际存在的最大页码，再看导出清单是否覆盖到同一位置。结果若一致，说明导出逻辑对这类结构成立，可以继续扩大范围；结果若不一致，下一步应查的是抓取时是否把某几页判成了重复内容。
第二种条件：分页地址带查询参数，例如 ?page=2 与筛选参数混在一起。此时序号连续并不等于完整，因为同一序号可能对应多个筛选组合。完整性检查要改成“按参数组合枚举”，先固定一组筛选条件，再检查该组合下的页码是否连续。动作是选两到三组差异明显的筛选条件分别导出，比较各自的首尾页。若只有某一组缺页，问题多半出在参数拼接或去重规则，而不是整体导出失败。
检查完整性时先分清三类遗漏
- 真缺页：该分页确实存在，导出结果里没有。判断依据是手动访问该地址能返回正常列表内容。
- 假缺页：地址存在但内容为空，或被站点跳转到上一页。这类不应计入遗漏，强行补入反而会污染清单。
- 重复页：不同地址返回同一批内容，常见于参数顺序不同或大小写不同。导出时被合并，看起来像缺页，实际是去重生效。
把这三类分开记录，才能判断下一步是补抓取、改去重还是调整有效分页的定义。若把假缺页和重复页都当成真缺页去补，清单会越补越长，反而掩盖真正的问题。
一个假设例子：序号连续但总量对不上
假设某栏目导出后页码从 1 到 40 连续，但把每页条目数乘以页数，得到的总量与站点标注的总条数差距明显。此时不能直接断定缺页。合理的原因至少有三种：部分页返回的条目数少于常规值；站点总数本身包含了已下架内容；导出时对重复条目做了合并。动作是先抽第 1、20、40 页分别核对每页实际条目数，若中段某页条目数异常偏少，再单独检查该页地址是否被重定向。只有排除这三种解释后，才把差距归为遗漏。
规模化后必须复核的例外
样本页正常不代表全站正常。规模变大后，常见的例外包括：站点对高频访问返回简化页或空页；部分栏目分页上限被截断，超出后不再提供下一页；移动端与桌面端分页地址不一致，导出只覆盖了其中一种。动作是在导出完成后，按栏目分层各抽一个尾部页复核，尾部页是截断和简化最容易出现的位置。若尾部页缺失，先确认该栏目是否本就设置了分页上限，再决定是否把它记为遗漏。
复核结果会直接影响下一步：若例外集中在少数栏目，按栏目单独补规则即可；若例外普遍存在，说明有效性判断条件需要整体重写，而不是继续在导出结果上打补丁。
