这篇讨论使用期望最大化算法(Expectation-Maximization)来进行密度估计(density estimation)。

与k-means 一样,给定的训练样本是{x (1), … ,x (m)},我们将隐含类别标签用z(i)表示。与k-means 的硬指定不同,我们首先认为z(i)是满足一定的概率分布的,这里我们认为满足多项式分布,z(i)~Multinomial(∅),其中p(z(i)=j)=∅j  ,  ∅j≥0, ∑j=1j=1 ,  z(i)   有k个值{1,...,k}可以取而 且 我 们 认 为 在 给 定 z(i) 后 ,x(i) 满 足 多 值 高 斯 分 布 , 即 (x(i)|z(i) = j)~N(µj , Σj)。由此可以得到联合分布p(x(i),z(i)) = p(x(i)|z(i))p(z(i))。

整个模型简单描述为对于每个样例x(i),我们先从 k 个类别中按多项式分布抽取一个z(i),然后根据z(i)