如果额度只够查几十个对象,优先选“能改变你下一步动作”的样本,而不是随机抽样或只查最重要的几个。具体做法是:按决策影响分组,每组只取边界样本——刚好达标、刚好不达标、以及处于中间地带的代表,这样一次查询就能同时验证阈值是否合理、分布是否集中、异常是否成片。
很多人默认:额度有限就查最重要的页面,反正它们最值钱。这个做法成立的前提是,你已经有可靠的判断标准,知道“重要”和“表现好”是两回事。但多数情况下,重点对象恰恰是你最熟悉的那批,查完只能确认已知结论,信息增量很低。
另一种做法是随机抽样,看起来更“科学”。它成立的条件是:你关心的对象之间差异不大,随机样本能代表整体。可一旦站点存在明显的分层——栏目页、详情页、聚合页的表现机制不同——随机抽样会把额度平均撒在差异很大的群体上,最后每组都不够看出规律。
这两种做法失效的原因不同,需要区分:只查重点是“样本偏差”问题,结论无法外推;随机抽样是“分层被抹平”问题,样本量被稀释。判断你属于哪种,看一个问题:如果你现在拿到全部结果,最想改变的是某个具体页面的处理方式,还是整批对象的筛选规则?前者说明你需要边界样本,后者说明你需要分层后再抽样。
一个可操作的选法是:先给对象定一个你打算据以行动的分界,例如“低于某水平就重写、高于某水平就保留”。然后从分界两侧各取几个,再取几个明显处于中间和明显处于两端的。这样一组样本能回答三个问题:分界附近是否密集、两端是否真的存在、中间地带是否只是过渡。
假设(仅为说明方法,非真实项目)你有 500 个页面、额度只够 40 次。不要按流量取前 40 个,而是:分界附近取 15 个、明显低于分界取 10 个、明显高于分界取 10 个、随机兜底 5 个。查完后如果发现分界附近结果高度集中,说明这条线区分度不够,下一步应该调整分界而不是继续加样本;如果两端差异明显,说明分界可用,下一步才值得扩大查询范围。
这个动作的关键在于:第一批样本的作用是校准标准,不是给出结论。校准之后你才知道剩下的额度该花在哪一层。
查完之后结果混乱,有两种解释:一是样本挑得不好,二是这批对象本来就没有稳定的区分特征。区分它们的证据不同:
还有一个常被忽略的证据:结果为空或明显异常的比例。如果一批样本里大量出现查不到、返回异常或数值明显偏离常识,先不要下“这些页面有问题”的结论。合理解释至少包括:对象本身不可查、查询方式不适用、该批次数据尚未覆盖。需要再取一组同类对象交叉验证,才能判断是普遍现象还是个别情况。
两种分配方式各有适用条件,可以按下面判断:
两种都不适合的情况是:你还没有明确的分界,也没有稳定的分层依据。这时第一批额度应该先花在“摸清对象类型”上,取少量不同类型各几个,确认它们是否可比,再决定后续怎么分。具体到某个查询工具的分组方式、额度规则和数据覆盖范围,需要以该工具当前的实际说明为准,不同工具差异较大,不能套用同一套假设。
最后一步动作是记录:每次查询后写下“这批样本支持了什么判断、还缺什么证据”。下一次额度优先补缺口,而不是重复已经确认的部分。这样即使总额度不变,每轮查询的信息量也会累积,而不是原地打转。