12-29 562 views
阅读全文 0
这篇讨论使用期望最大化算法(Expectation-Maximization)来进行密度估计(density estimation)。
与k-means 一样,给定的训练样本是{x (1), … ,x (m)},我们将隐含类别标签用z(i)表示。与k-means 的硬指定不同,我们首先认为z(i)是满足一定的概率分布的,这里我们...
8-06 654 views
这篇讨论使用期望最大化算法(Expectation-Maximization)来进行密度估计(density estimation)。
与k-means 一样,给定的训练样本是{x (1), … ,x (m)},我...
K-means也是聚类算法中最简单的一种了,但是里面包含的思想却是不一般。聚类属于无监督学习,以往的回归、朴素贝叶斯、SVM等都是有类别标签y的,也就是说样例中已经给出样例的分类。而聚类的样本中却没有给定y,只有特征x,比如假设宇宙中的星星可以表示成三维空间中...
7-21 769 views
阅读全文 0
1 问题
模型选择问题:对于一个学习问题,可以有多种模型选择。比如要拟合一组样本点,可以使 用线性回归(y =θTx),也可以用多项式回归(y = θTx1~m )。那么使用哪种模型好呢(能够在偏差和方差之间达到平衡最优)?
还有一类参数选择问题:如果我们想使用带权值的回...
11-24 1,046 views
阅读全文 0
8 核函数(Kernels)
考虑我们最初在“线性回归”中提出的问题,特征是房子的面积 x,这里的 x 是实数,结果 y 是房子的价格。假设我们从样本点的分布中看到 x 和 y 符合 3 次曲线,那么我们希望 使用 x 的三次多项式来逼近这些样本点。那么首先需要将特征 x 扩展到三...
11-10 1,125 views
阅读全文 0
1 简介
支持向量机基本上是最好的有监督学习算法了。这次斯坦福提供的学习材料,让我重新学习了一些 SVM知识。我看很多正统的讲法都是从 VC 维理论和结构风险最小原理出发,然后引出 SVM 什么的,还有些资料上来就讲分类超平面什么的。这份材料从前几节讲的 logistic...
10-13 896 views
阅读全文 0
1 判别模型与生成模型
上篇报告中提到的回归模型是判别模型,也就是根据特征值来求结果的概率。形式化表 示为p (y|x ; θ),在参数θ确定的情况下,求解条件概率 p (y|x)。通俗的解释为在给定特征后预测结果出现的概率。
比如说要确定一只羊是山羊还是绵羊,用判别模型...
10-13 948 views
阅读全文 0