12-29 604 views
阅读全文 0
这篇讨论使用期望最大化算法（Expectation-Maximization）来进行密度估计（density estimation）。
与k-means 一样，给定的训练样本是{x (1), … ,x (m)}，我们将隐含类别标签用z(i)表示。与k-means 的硬指定不同，我们首先认为z(i)是满足一定的概率分布的，这里我们...
8-06 691 views
这篇讨论使用期望最大化算法（Expectation-Maximization）来进行密度估计（density estimation）。
与k-means 一样，给定的训练样本是{x (1), … ,x (m)}，我...
K-means也是聚类算法中最简单的一种了，但是里面包含的思想却是不一般。聚类属于无监督学习，以往的回归、朴素贝叶斯、SVM等都是有类别标签y的，也就是说样例中已经给出样例的分类。而聚类的样本中却没有给定y，只有特征x，比如假设宇宙中的星星可以表示成三维空间中...
7-21 811 views
阅读全文 0
1 问题
模型选择问题：对于一个学习问题，可以有多种模型选择。比如要拟合一组样本点，可以使 用线性回归(y =θTx)，也可以用多项式回归(y = θTx1~m )。那么使用哪种模型好呢（能够在偏差和方差之间达到平衡最优）？
还有一类参数选择问题：如果我们想使用带权值的回...
11-24 1,084 views
阅读全文 0
8 核函数（Kernels）
考虑我们最初在“线性回归”中提出的问题，特征是房子的面积 x，这里的 x 是实数，结果 y 是房子的价格。假设我们从样本点的分布中看到 x 和 y 符合 3 次曲线，那么我们希望 使用 x 的三次多项式来逼近这些样本点。那么首先需要将特征 x 扩展到三...
11-10 1,177 views
阅读全文 0
1 简介
支持向量机基本上是最好的有监督学习算法了。这次斯坦福提供的学习材料，让我重新学习了一些 SVM知识。我看很多正统的讲法都是从 VC 维理论和结构风险最小原理出发，然后引出 SVM 什么的，还有些资料上来就讲分类超平面什么的。这份材料从前几节讲的 logistic...
10-13 933 views
阅读全文 0
1 判别模型与生成模型
上篇报告中提到的回归模型是判别模型，也就是根据特征值来求结果的概率。形式化表 示为p (y|x ; θ)，在参数θ确定的情况下，求解条件概率 p (y|x)。通俗的解释为在给定特征后预测结果出现的概率。
比如说要确定一只羊是山羊还是绵羊，用判别模型...
10-13 986 views
阅读全文 0