支持向量机（持续更新）

序言

想到了一个问题，中小公司如何通过简历快速判断一个机器学习岗位应聘者是否适合？
有一个方法是，看他的简历上有没有写SVM/支持向量机，一般写了的人通常不适合。因为敢写的人要么太菜，要么太狠，菜的是大多数。
不管你写没写SVM，面试官一般都会问。但是如果你写了SVM，最后问题可能会恶化成你和面试官究竟是谁不懂SVM。

我去年大概买了150-200本书... ...基本都没读。其中大部分书籍都是将许多许多机器学习算法理论和乱七八糟的知识点放在一起讲的，但是有两本例外，这两本书通篇只在讲一件事情，这件事情叫支持向量机。

支持向量机也许称不上是一个特别特别难的方法，但是绝对是特别特别虐的方法，正如它的英文缩写一样，非常SM，初接触SVM时觉得这个方法挺模糊，但是也挺简单... ...
后来我发现，之所以刚开始觉得简单，一方面是因为这个方法本身的实用性和效率很高，技巧性也很强，是先人用高超的手法、耐心和智慧将它的小宇宙封装了起来，就像1+1等于2一样，简单吧，那你给我推导一个；另一方面也是因为我对字符的记忆力极差，但是在图像层面的思维和记忆有着较强的天赋，可以在大脑里轻松地模拟出一些复杂的高维度变换并思考它们的本质，而极差的文字记忆能力也帮助我过滤掉了一些啰嗦的形式主义，这对培养思维的直觉起到了很大的帮助。之所以觉得模糊，你可以使用百度（一定要用百度）搜索一下“黑洞”来感受一下... ...
模糊的背后往往是无尽的深渊和未知的脸。
我们先来看一下其中相对简单的一本书的目录。

第1章 支持向量机的分类和回归模型
1．1 多项式核函数
1．2 Mercer核
1．3 再生核Hilbert空间
1．4 正定核函数的构造
1．5 二分类问题的数学提法
1．6 平分最近点模型
1．7 最大间隔模型
1．8 平分最近点模型和最大间隔模型之间的关系
1．9 回归问题的数学提法
1．10 硬带超平面
1．11 基于分类的回归模型

第2章 分解算法
2．1 无约束问题的提法
2．2 分解算法的提出
2．3 选块算法
2．4 SVMLight算法
2．5 Platt的SMO算法
2．6 Keerthi的SMO改进算法
2．7 改进的SMO算法的收敛性
2．8 解回归问题的SMO算法
2．9 扩展的Lagrange支持向量机

第3章 最小二乘支持向量机
3．1 最小二乘支持向量机
3．2 最小二乘隐空间支持向量机
3．3 基于矩阵模式的最小二乘支持向量机
3．4 最小二乘支持向量机的求解算法
3．5 最小二乘支持向量机的稀疏化算法

第4章 多分类问题
4．1 一对多算法
4．2 一对一算法
4．3 基于决策树的支持向量机
4．4 嵌套算法
4．5 纠错输出编码支持向量机
4．6 一次求解算法
4．7 支持向量机分类回归算法

第5章 模糊支持向量机
5．1 单边加权模糊支持向量机
5．2 双边加权模糊支持向量机
5．3 基于加权间隔的模糊支持向量机
5．4 模糊支持向量机中的隶属度设置
5．5 加权稳健支持向量回归方法
5．6 基于不敏感学习的模糊系统
5．7 基于模糊if-then规则的间隔非线性分类器
5．8 基于核模糊c-均值聚类和最远对策略的模糊支持向量机分类器

第6章 支持向量机的在线学习算法
6．1 基于增量和减量学习的支持向量机算法
6．2 增量支持向量机分类算法
6．3 增量支持向量机回归算法
6．4 核递归最小二乘算法
6．5 基于结构风险最小化的在线核方法
6．6 快速的在线核分类器

第7章 大规模分类
7．1 大规模线性支持向量机算法
7．2 基于低秩核矩阵表示的支持向量机算法
7．3 缩减支持向量机
7．4 核向量机
7．5 多核学习机
7．6 局部化支持向量机
7．7 基于带类标聚类特征树和局部学习的支持向量机分类算法

看完以后我想说，北京申奥成功啦... ...