权重检测：访客被分配到不同版本时怎样识别样本污染
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /edc7221fd0c2.html
📄
权重检测：访客被分配到不同版本时怎样识别样本污染
先给结论：如果访客被分流到不同版本，而你把两版数据合并后再做权重检测，样本污染几乎必然发生；识别它的关键不是看总量差异，而是先确认每个访客只进入一个版本、每个版本只对应一套统计口径，再比较分流前后同一批入口的表现是否发生跳变。只靠某一天的总流量下跌或某个页面跳出率上升，不能单独证明污染存在，因为季节性、抓取波动和渠道结构变化都能产生类似现象。
一个常见矛盾：小样本成立，放大后却出现例外
假设你正在做一次页面改版测试，A版是旧结构，B版是新结构，分流规则是按访客随机进入。测试初期，你手动检查了二十个访客，发现他们的访问路径和停留时长都符合预期，A版和B版的差异也稳定。于是你决定把观察范围扩大到全站，结果发现：B版的平均停留时长突然比A版低很多，但分渠道看，来自搜索的访客在两版之间几乎没有差别，来自站内推荐的访客却出现了巨大落差。
这个矛盾现象说明，问题可能不在版本本身，而在样本的分配和统计方式。小样本成立，是因为你手动检查时天然避开了某些混合入口；规模化后出现例外，是因为全站数据把不同来源、不同分流规则的访客混在了一起。此时若直接下结论“B版更差”，就会把样本污染误判为版本效果。
两种解释：分流机制问题，还是统计口径问题
第一种解释是分流机制本身出了问题。例如，同一访客在第一次访问时被分到A版，但因为缓存、登录状态或跨设备访问，第二次进入时被分到了B版。此时该访客的会话数据会同时出现在两个版本中，导致两版样本都不再独立。另一种可能是分流规则对某些入口失效，比如站内推荐位直接跳转到固定版本，而搜索入口才走随机分流。这样一来，B版的样本里可能混入了大量来自推荐位的访客，而A版没有，两版的可比性就被破坏。
第二种解释是统计口径问题。即使分流机制正常，如果两版的数据上报方式不同，也会造成污染。例如，A版用页面浏览事件统计停留时长，B版用可见性事件统计，两者对“有效停留”的定义不同。合并分析时，你看到的差异可能只是统计方式差异，而不是访客行为差异。第三方估算流量、搜索引擎报告与站内统计口径不同，也会让同一批访客在不同报表中呈现为不同样本，进一步加剧误判。
能区分两种解释的证据：看分流日志与入口一致性
要区分是分流机制问题还是统计口径问题，最直接的动作是调取分流日志，按访客标识回查每个访客进入的版本序列。具体做法是：取一段时间内的访客ID，检查是否存在同一个ID同时出现在A版和B版的情况。如果存在，且这些ID集中在某些入口或某些设备类型上，那么分流机制问题的可能性更大。如果所有访客ID都只出现在一个版本中，但两版的数据上报字段定义不同，那么统计口径问题的可能性更大。
另一个可核查的证据是入口一致性。把搜索、站内推荐、广告三个入口分开，分别看每个入口在两版之间的访客分配比例。如果某个入口的分配比例明显偏离预期的分流比例，比如预期五五开，实际却是三七开，说明该入口的分流规则可能没有生效。此时，你可以先暂停该入口的测试，只保留分流正常的入口，再重新做权重检测。这个动作的结果会直接影响下一步：如果暂停后两版差异消失，说明污染来自该入口；如果差异仍在，则需要继续检查统计口径。
一个注明假设的短例子：如何用回查动作缩小范围
假设某个内容站正在测试两种列表页布局，分流规则是按访客随机进入。运营人员发现，B版的搜索流量占比明显高于A版，但两版的搜索访客停留时长几乎一样。此时可以假设：站内推荐入口没有走随机分流，而是固定跳转到B版。为了验证这个假设，可以取一天的分流日志，按入口分组统计访客进入的版本。如果站内推荐入口的访客几乎全部进入B版，而搜索入口的访客接近五五开，那么样本污染就来自站内推荐入口。
接下来的动作是：把站内推荐入口从测试中剔除，只保留搜索入口，重新计算两版的权重指标。如果重新计算后，两版的搜索流量占比和停留时长都趋于一致，说明之前的差异主要是入口结构造成的，而不是版本本身。如果剔除后差异依然存在，则需要检查两版的统计上报字段是否一致，比如是否都统计了滚动深度、是否都排除了内部访问。这个例子中的数字只是用于说明比较方法，不代表真实项目结果。
不能直接照搬的边界：哪些情况不适合用合并数据做判断
当访客可能跨设备、跨登录状态访问时，仅靠站内统计很难还原完整的访客路径。此时，合并两版数据做权重检测的可靠性会下降，因为同一自然人在不同设备上可能被识别为不同访客，从而被分到不同版本。更稳妥的做法是，先明确本次检测只覆盖单一设备、单一登录状态下的访客，或者接受一定比例的样本重叠，并在报告中注明这一假设。
另外，如果两版的统计口径本身不同，比如一个统计页面加载完成，另一个统计首次内容绘制，那么即使分流机制完全正常，也不应直接把两版数据合并比较。此时应先统一统计口径，或者分别看两版在同一口径下的表现，再决定是否继续。请求量、抓取量或某项统计归零，也不能单独证明处理正确，因为缓存、埋点延迟或分流规则调整都可能产生类似现象。识别样本污染的核心，是让每个访客只进入一个版本、每个版本只对应一套可解释的统计口径，并用分流日志和入口一致性作为可核查的证据链。
