尽管本科的时候数学课的成绩都很不错，但很多东西我一直没有弄明白，其中一个就是各种常见分布的名字到底是怎么来的。这也让我除了几个常见的分布外，很多重要的分布根本没记住。其中有一个就是负二项分布。最让人疑惑的是负是什么意思，它和二项分布又有什么联系。除此之外，我们在机器学习多分类问题中还常常遇到一个叫多项分布的东西，比起负二项分布，它简单的多，一看就知道从二项分布延拓出来的。
那我们就从二项分布回忆起。二项分布的一个简单的角度是从伯努利分布开始（0-1分布）。有一系列随机变量 , 它们独立且都服从分布（即重复独立做了n次实验，每个实验只有可能有两种结果，例如抛硬币正面是 ，反面是 ）：
那么随机变量 就服从二项分布， 。
那它和二项式展开 之间有着不言自明的关系。
那么多项分布呢？这系列随机变量仍然独立且服从同一分布，但现在它刻画的一次实验有多种结果：
且
我们可以换一个形式表示一次实验的结果，即用仅仅第 位为 的L维向量 来表示第 种结果出现了。
这样我们就有
现在的随机变量是一个向量了。
我们还是考虑 ，它也是个 维向量，每个位置 记录了第 种结果发生的次数。那么对于特定的一个统计结果 ,即第 种结果发生 次，
，其中 。
而它和多项式展开
也是一致的。
那么负二项分布又是怎么回事呢？
我们来看二项分布，通过做这 次的实验，我们可以估计参数 。假设我们是在抛硬币，那么我们现在就能估计出抛到正反面的比例。而估计出参数的好处，是对之后的结果可以做一个预测，比如我们发现正面出现的概率高（ ），我们就可以预测之后抛硬币的结果也是正面出现多。
那么既然可以固定总次数 ，那我也可以固定正面的次数 ，来统计出现 次正面需要的总次数 。或者等价的，我们来统计反面的次数Y。
首先，我们看出现一次正面需要的反面次数 服从分布：
。
那么出现 次正面的需要的次数就是（独立重复这个过程 次） 。有很多计算这个分布的方法。最简单当然是当 时，所有长度为X+y的0-1实验结果序列中符合条件的序列共有 个（等价于 有多少组可能的非负数解），每个序列的概率是 ， 所以
。
后面那个组合数是怎么回事？它和二项式展开的的系数有点像。
首先，我们看它的定义
。
那我们来看看负指数情况下的二项式展开
为了确定某一项 的系数，等同于求解方程 有多少组非负整数解，恰恰是 组。
因此，
令 , ，则
, 即 。
哈哈，发现相似程度也是百分百呢！
负二项分布：negative binomial distribution二项分布：binomial distribution多项分布： multinomial distribution
DP1024
2020.02.26
评论留言