全国 切换城市 专业个税所得税增值税服务平台

SVM和逻辑回归有何区别和联系?

老饺

老饺

支持向量机(SVM,Support Vector Machine)和逻辑回归(Logistic Regression)都是机器学习中常用到的分类算法。

两者间的区别在于:

1.SVM属于非参数估计,本质上是解决一个二次规划的问题;而逻辑回归属于参数估计,是极大似然估计的问题。

2.优化的目标函数不同,软间隔(soft margin)的SVM的优化目标是:

就等价于:


其中第二项中用于衡量分类损失的函数是合页损失(hinge loss)

而带正则化的逻辑回归中优化的目标函数为:


其中第一项就是衡量分类误差的交叉熵损失(cross-entropy loss)。

下图就是逻辑回归和SVM损失函数之间的差别。可以看到逻辑回归在左侧(分类错误)更加发散,因此会对异常点(outliers)更敏感;此外,在右侧(分类正确)损失没有像Hinge loss那样直接为零,而是渐进为0。这样可能就会降低分类的精度。


从优化目标中,可以看到在SVM中是最大化分类面间隔的同时最小化分类误差;而逻辑回归正好相反,更看重优化分类误差,即让分类器尽可能分得准。

因此SVM又被称为结构风险最小化,也就是让分类器的泛化能力尽可能的好;逻辑回归被称为经验风险最小化,就是最小化分类损失。

3. SVM的训练过程中实际上只用到了支持向量(Support Vector),因此依赖的样本数更少;而逻辑回归则是使用了全局的样本。

4. SVM不能直接输出分类概率;逻辑回归的预测结果则是概率,再通过阈值判断来确定分类。

5. SVM不适合处理大量数据,因为通过二次规划来优化,过多的数据会导致优化得很慢。而逻辑回归则对数据量没有要求。

二者之间的联系

1. 本质上都属于线性分类模型,通过加入核函数就可以解决非线性分类问题。

2. 两者的损失函数都是由正则化项+分类误差来构成,调整其中的权重参数就可以对模型泛化能力和分类精度进行权衡,以得到最合适的模型参数。

陈海勇

陈海勇

这个真不懂,从百度上搬了一个过来。我看了半天,还是看不懂。 有懂行的过来用普通人理解的语言翻译一下。

两种方法都是常见的分类算法,从目标函数来看,区别在于逻辑回归采用的是logistical loss,svm采用的是hinge loss。这两个损失函数的目的都是增加对分类影响较大的数据点的权重,减少与分类关系较小的数据点的权重。SVM的处理方法是只考虑support vectors,也就是和分类最相关的少数点,去学习分类器。而逻辑回归通过非线性映射,大大减小了离分类平面较远的点的权重,相对提升了与分类最相关的数据点的权重。两者的根本目的都是一样的。此外,根据需要,两个方法都可以增加不同的正则化项,如l1,l2等等。所以在很多实验中,两种算法的结果是很接近的。

但是逻辑回归相对来说模型更简单,好理解,实现起来,特别是大规模线性分类时比较方便。而SVM的理解和优化相对来说复杂一些。但是SVM的理论基础更加牢固,有一套结构化风险最小化的理论基础,虽然一般使用的人不太会去关注。还有很重要的一点,SVM转化为对偶问题后,分类只需要计算与少数几个支持向量的距离,这个在进行复杂核函数计算时优势很明显,能够大大简化模型和计算量。

局域网、广域网和因特网之间有何区别和联系?

幻影

幻影

你家两台以上电脑连起来就是局域网!顾名思义就是局部区域的网络!多个家庭的局域网互联就是广域网就是广阔区域的网路!互联网就是全世界连起来!可以相互通讯!比如微信QQ支付宝

11小时前 58查看 3回答

Java和C语言的区别和联系有哪些?

十七画

十七画

Java和C都是指令式语言(ImperativeLanguage),不同的是Java有面向对象(OO)成分在里面,而C是完全面向过程的,C的高级版本C++、C#支持面向对象。另外一个不同是,Java跨平台,既不同的操作系统都可以通过JVM来解释Java程序,而C、C++、C#则

11小时前 64查看 2回答

泰拳和散打有哪些区别和联系?

Lily L

Lily L

说散打和泰拳有什么联系?最初是没什么联系的,散打最初叫散手。是中国为和国际搏击接轨,从传统武术里,去伪存真,实用化后产生的结果。当时散手派别也是众多,有洪拳散手,太极散手等。最后再经过,各类比赛的不断融合,终于形成了现在这个,我国特有的体育武术竞技项目,散打至于为什么后来和泰拳有

11小时前 61查看 1回答

最新公司
最新知识

关税的利弊,中国降低关税的利弊

小编为您整理外商独资企业和中外合资企业在设立、经营、税收、贸易等方面各有什么利弊、什么是关税关税的作用、加拿大的税收制度有哪些利弊、消费税在生产环节或销售环节征税的利弊、增值税率对企业有什么利弊相关税务规划知识,详情可查看下方正文!

上海进口关税,进口关税

小编为您整理乐器进口关税、中国进口关税、进口关税、海关进口关税、进口关税计算公式相关税务规划知识,详情可查看下方正文!

赤道几内亚关税,赤道几内亚关税为何停止减免

小编为您整理关税减让的关税减让原则、出口关税完税价格包括关税吗、什么是关税 关税的作用、最高关税和最低关税、多少关税,关税怎么计算相关税务规划知识,详情可查看下方正文!

橡胶 进口关税,橡胶进口关税多少?

小编为您整理求进口关税、马来西亚橡胶进口关税税率是多少、中国进口关税、进口关税是多少、从美国进口橡胶到大陆的关税税率是多少相关税务规划知识,详情可查看下方正文!

进口关税和进口增值税,进口关税和进口增值税公式

小编为您整理关于进口关税和进口增值税、清关费用怎么做帐,里面包含进口增值税,进口关税和手续费、计提进口关税和进口增值税应做什么分录、海关进口关税和海关进口增值税问题、进口猪蹄的进口关税和增值税怎么算啊相关税务规划知识,详情可查看下方正文!

最新问答
热门专题