把额度花在“能改变你下一步动作”的样本上,而不是花在覆盖面最大的样本上。具体做法是:先按你准备采取的动作把候选对象分组,再从每组里各抽少量对象,优先选那些结果一旦不同、会导致不同处理方式的样本;如果某类对象无论查出来是什么,你的动作都一样,就先不查它。
额度有限时,样本量的价值远低于样本的“分辨力”。同一个网站营销软件里,导出全量域名跑一遍,通常不如先回答一个具体问题:这批对象里,哪些需要单独处理、哪些可以走同一套流程。
假设你手上有三类候选对象:一类是近期改过页面结构的,一类是长期没动的,一类是新接入还没观察过的。如果你的下一步动作是“决定要不要为改版对象单独安排一次复查”,那么真正有信息量的是第一类,而不是按数量平均分配。因为后两类无论查出什么,你的处理方式大概率相同。
可操作的判断顺序:
做完这一步,你会发现候选名单往往缩小到原来的一小部分,额度压力随之下降。下一步才是决定每类抽几个。
常规抽样追求代表性,但在额度受限时,代表性会让样本摊薄在大量彼此相似的对象上,信息量反而低。更有效的做法是围绕分歧点取样:
成对对照尤其省额度。比如两个对象只差“是否近期调整过模板”,各查一个,就能初步判断模板调整是否与结果差异同时出现。这只是假设示例,用来演示比较方法,不代表任何真实项目结论。
需要提醒的是,成对对照只能提示“同时出现”,不能直接当成因果。要确认因果,还需要更多对照或一次受控改动。
额度有限时最容易犯的错,是看到一个反直觉结果就立刻扩大查询范围去“验证”。更省额度的做法是先写下至少两种合理解释,再设计能区分它们的最小样本。
例如你原本预期“改动过的对象表现更好”,结果却相反。可能的解释至少包括:
区分它们需要的信息不同:第一种要补查构成,第二种要补查未改动对象的对照,第三种要核对口径。先想清楚要区分哪两种解释,再决定查什么,比盲目扩大样本更省额度。
如果这批对象之间高度同质,抽哪几个结果都差不多,那么“挑分歧点”就失去了意义——此时任何抽样都接近重复,信息量都很低。这种情况下,把额度用在少量对象上反复核对口径,或者干脆先不查、等对象出现可区分的差异再查,往往比硬凑样本更合理。
另一种失效情形是:你的下一步动作本身还没确定。动作不确定时,任何样本都无法判断“有没有信息量”,因为信息量是相对于决定而言的。这时应先定动作,再定样本。
先写下一句“如果查到A就做X,查到B就做Y”,把它贴在样本名单旁边。然后只挑那些A与B会导致X与Y不同的对象,各抽一到两个,先跑一轮。根据这一轮结果,你会知道边界大概在哪、还剩哪些解释没排除,再决定剩余额度投向哪里。若第一轮显示两类对象结果几乎一致,就把额度转向之前被排除的那一类,而不是在同一类里继续加量。