SVM核函数与选择算法

摘要：本文简单介绍了SVM理论基础以及为什么在SVM中需要核函数，详细介绍了常见的各种核函数及其选择问题。

关键词：SVM  核函数  核函数选择

中图分类号：TP316 文献标识码：A 文章编号：1007-9416（2014）09-0226-01

1 SVM的理论基础

SVM的理论基础是统计学习理论。其理论是从线性可分，扩展到线性不可分的情况，甚至扩展到使用非线性函数中去，这种分类器被称为支持向量机（SupportVectorMachine，简称SVM）。

SVM的主要思想可以概括为两点：它是针对线性可分情况进行分析，对于线性不可分的情况，通过使用非线性映射算法将低维输入空间线性不可分的样本转化为高维特征空间使其线性可分，从而使得高维特征空间采用线性算法对样本的非线性特征进行线性分析成为可能。

2 SVM为什么需要核函数

SVM方法是通过一个非线性映射，把样本空间映射到一个高维乃至无穷维的特征空间中（Hilbert空间），使得在原来的样本空间中非线性可分的问题转化为在特征空间中的线性可分的问题.简单地说，就是升维和线性化。作为分类很可能在低维样本空间无法线性处理的样本集，在高维特征空间中却可以通过一个线性超平面实现线性划分。一般的升维都会带来计算的复杂化，SVM方法巧妙地解决了这个难题。应用核函数的展开定理，就不需要知道非线性映射的显式表达式。由于是在高维特征空间中建立线性学习机，所以与线性模型相比，不但几乎不增加计算的复杂性，而且在某种程度上避免了“维数灾难”。这一切要归功于核函数的展开和计算理论。

3 SVM几种常用核函数

选择不同的核函数，可以生成不同的SVM，常用的核函数有以下几种：

（1）线性核函数（Linear Kernel）

（2）多项式核函数（Polynomial Kernel）

（3）径向基核函数（Radial Basis Function）

（4）二层神经网络核函数

（5）幂指数核（Exponential Kernel）

（6）拉普拉斯核（Laplacian Kernel）

（7）ANOVA核（ANOVA Kernel）

（8）二次有理核（Rational Quadratic Kernel）

（9）多元二次核（Multiquadric Kernel）

（10）逆多元二次核（Inverse Multiquadric Kernel）

（11）另外一个简单实用的是Sigmoid核（Sigmoid Kernel）

以上几种是比较常用的，大部分在SVM，SVM-light以及RankSVM中可用参数直接设置。还有其他一些不常用的，如小波核，贝叶斯核，可以根据需要通过代码自己指定。

4 SVM核函数选择

不同核函数的选择体现了“相似程度”的不同含义。“相似程度”的概念是我们选取可函数的依据。因此，在使用支持向量机解决实际问题时，常常要用有关领域的专门知识，根据问题的特点选取适当的核函数。

4.1 根据实际问题的特点选取核函数

核函数的正确选取依赖产生分类问题的实际问题的特点，因为不同的实际问题对相似程度有着不同的度量。

（1）当考察两个输入x，y的相似程度时，通常关心它们之间的距离，认为距离越相近越相似，则相应的核函数是。

（2）当考察两个输入x，y的相似程度时，可能只关心它们的长度，认为长度越接近越相似，则相应的核函数是。

（3）当考察两个输入x，y的相似程度时，也可能只关心它们的幅角而忽略其长度，则相应的核函数是。

4.2 根据训练集的特点选取核函数

假定训练集的正例和负例大致可以用一个椭圆来划分，则应该选择2阶多项式核函数使其分划线是一个椭圆。

4.3 直接构造核函数

简单图分类中的核函数构造方法参看文献[4]。

建议初学者在通常情况下优先考虑径向基核函数，径向基核函数（Radial Basis Function）也叫高斯核（Gaussian Kernel）径向基函数是指取值仅仅依赖于特定点距离的实值函数，也就是。任意一个满足特性的函数Φ都叫做径向量函数，标准的一般使用欧氏距离，尽管其他距离函数也是可以的。选择径向基核函数主要基于以下考虑：

（1）作为一种对应于非线性映射的核函数，RBF能够处理非线性可分的情况。

（2）说明了线性核函数是RBF核函数的一种特殊情况，即通过适当第选择参数，RBF核函数总可以得到与带有错误代价参数C的线性核函数相同的效果，反之当然不成立。

（3）在选择某些参数的情况下，Sigmoid核函数

的行为也类似于RBF核函数，而且选择Sigmoid核函数就有两个与之有关的参数b，c需要确定。

（4）多项式核函数需要计算内积，而这有可能产生溢出之类的计算问题。

另外两个比较常用的核函数，幂指数核，拉普拉斯核也属于径向基核函数。此外不太常用的径向基核还有ANOVA核，二次有理核，多元二次核，逆多元二次核。

5 结语

最佳核函数的选择一般与有关领域的专门知识和问题自身的特点有关，但仍有规律可循。

参考文献

[1]http：//baike.sogou.com/v7683351.htm.

[2]http：//blog.csdn.net/xiaowei_cqu/article/details/35993729.

[3]数字图像处理与机器视觉.人民邮电出版社，2012/12.

[4]支持向量机-理论、算法与拓展.科学出版社，2009/8.

推荐访问:算法 函数 选择 SVM