对于成熟的产品来说，大多数的改动带来的提升可能都是微小的， 通常情况下，为提升AB实验的灵敏度，提升AB的显著性，有两种常见做法： 增加流量 增长实验时间 本质上，无论是延长实验时间还是增加流量一方面都是为了增加样本量，因为样本越多，方差越小，p值越显著，越容易检测出一些微小的改进。 如果能合理的通过统计方法降低方差，就可能更快，更少的样本的检测到微小的效果提升! 微软2013年发表过一篇论文，介绍了一种利用……

阅读全文

$Beta$分布 $Beta$分布是一个定义在[0,1]区间上的连续概率分布族，它有两个正值参数，称为形状参数，一般用$\alpha$和$\beta$表示 $Beta$分布的概率密度为： $$ f(x ; \alpha, \beta)=\frac{x^{\alpha-1}(1-x)^{\beta-1}}{\int_{0}^{1} u^{\alpha-1}(1-u)^{\beta-1} d u}=\frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha) \Gamma(\beta)} x^{\alpha-1}(1-x)^{\beta-1}=\frac{1}{B(\alpha, \beta)} x^{\alpha-1}(1-x)^{\beta-1} $$ 随机变量$X$服从参数为$\alpha, \beta$的$beta$分布，一般记作： $$ X \sim \operatorname {Beta} (\alpha, \beta) $$ $Beta$分布的期望： $$ \frac{\alpha}{\alpha + \beta} $$ $Beta$分布的方差： $$ \frac{\alpha \beta}{(\alpha+\beta)^{2}(\alpha+\beta+1)} $$ $Beta$分布的概率密度图……

阅读全文