文章目录
- A/B测试
- 问题
- 流量不够用
- 解决方案——分层实验
- Holdout 机制
A/B测试
其中小流量是指对部分的用户先尝试改进的算法模型，而非全部。若为全部，如果算法模型存在问题，可能会导致用户体验差，导致用户流失，而小流量的损失代价相对小。
同时模型中也会存在一些需要人工进行设置的参数。也可以在小流量中先进行确定。
因为会有多个参数可供设置，每一个参数可以拿一群人进行测试。
问题
流量不够用
因为推荐链路包括召回、粗排、精排和重排四个阶段，每个阶段都可以尝试新的模型，也可以说每个阶段可以由不同的部门进行负责，而每一个部门都可以提出使用A/B测试的请求（领走一批用户作为测试），所以有可能用户是不够用的。
解决方案——分层实验
同层
互斥，不要同时对同一层的同一批/桶用户施加两种不同的策略，这种实际应该只能算是一种策略——两种策略叠加成一种混合策略。
不同层正交是指位于用户界面2号桶内的用户将均匀打散到召回阶段的各个桶中以供使用。
Holdout 机制
