忙于项目，看了一些理论书籍，总感觉雾里看花，为了能有点动力，我准备写一些总结。
1 机器学习问题表示
变量y与输入x之间存在一定的关系，即存在二维联合概率密度F（x，y）
机器学习根据m个独立，同分布观测样本求出一个最优函数y=f（x，a），使预测的期望风险最小
R（a）= |Q（y，f（x，a））dF（x，y），其中Q（y，f（x，a））是f（x，a）与y之间的损失函数
2 经验风险最小化
由于并不知道F（x，y），所以无法利用期望风险来求f（x，a），但根据大数定理的思想，可以用算术平均代替数学期望 Remp（a）= 1/m（Q（yi，f（xi，a））+......），使样本均值最小求出f（x，a）中参数a
3 最小均值方法
求经验风险最小可以看做是最佳拟合问题，E = （yi-f（xi，a））**2+ ..........
在调整权值时需要这样一个算法：在有了新的训练样本时可以在原来的基础上进一步精化权值。对于每一个训练样例，它把权值向减少误差的方向略为调整。这个算法可以看做对可能的假设权值空间进行随机的梯度下降搜索。权值w更新方式为：w<--w+l（yi - f（xi，a））xi
4函数集的vc维
函数集Q（z，a）vc维等于能够用该函数集以所有可能的2**k种方式分成不同两类的向量z1，z2....最大数目。越复杂的函数vc维越高。
期望风险R（a ）== 经验风险Remp（a）+sqr（h/m），可见vc维增加会导致期望风险增加。
5结构风险最小化
min（经验风险Remp（a）+sqr（h/m））
6支持向量机
svm的基本思想是通过事先选择的线性或非线性的映射将输入向量映射到高维特征空间中，在这个空间中利用了最优化理论和泛化性理论，同时引入了超平面的概念（减少vc维），来构造最优决策函数，并巧妙地利用核函数来代替高维特征空间的点积运算，从而避免了复杂的计算。
7贝叶斯决策
设要识别的对象有d中特征测量值x1，x2.....xd，每种特征都是一个随机变量。
设gi（x）为对应i类的风险函数，利用先验概率，相应的分类规则为：
如果gi（x）>gj（x），i，j = 1，2，...c， j!= i，则x属于第i类，决策面方程为 gi（x）= gj（x）
8分类与聚类
分类：样本已知所属类别，求出分类函数，对新的样本进行识别
聚类：样本无类别，根据其分布距离进行分类
9线性分类器
定义一个准则函数J（w，x），w是分类器参数，它的最小值对应着最优解。得到梯度法迭代公式：
w（k+1）= w（k）-p（△J）
因为判别函数g（x）满足：
g(x)>0 x∈w
g(x)<0 x!∈w
准则函数有最小平方误差，最小错分类等。
10聚类
相似性测度：欧式距离，马氏距离，明氏距离，夹角余弦
散布准则：类内散布，类间散布，总散布
求解过程是聚类中心点迭代
11特征抽取和选择
选择：选取要使用的特征
抽取：利用选择出来的特征进行降维变换
抽取方法有线性变换，主成分分析的最佳矩阵变换，