机器学习入门之《统计学习方法》笔记整理——感知机

从头开始学习李航老师的《统计学习方法》,这本书写的很好,非常适合机器学习入门。什么是感知机?感知机是二类分类的线性分类模型,其输入为实例的特征向量,输出为实例的类别,取+1和-1二值。感知机学习旨在求出可以将数据进行划分的分离超平面,所以感知机能够解决的问题首先要求特征空间是线性可分的,再者是二类分类,即将样本分为{+1, -1}两类。

机器学习入门之《统计学习方法》笔记整理——感知机
机器学习入门之《统计学习方法》笔记整理——逻辑斯蒂回归

逻辑回归(logistic regression)是统计学习中的经典分类方法。其多用在二分类{0,1}问题上。最大嫡是概率模型学习的一个准则将其推广到分类问题得到最大熵模型(maximum entropy model)。逻辑回归模型与最大熵模型都属于对数线性模型。

机器学习入门之《统计学习方法》笔记整理——逻辑斯蒂回归
机器学习入门之《统计学习方法》笔记整理——K近邻算法

k近邻算法,即是给定一个训练数据集,对新的输入实例,在训练数据集中找到与该实例最邻近的K个实例,这K个实例的多数属于某个类,就把该输入实例分类到这个类中。

机器学习入门之《统计学习方法》笔记整理——K近邻算法
机器学习入门之《统计学习方法》笔记整理——决策树

决策树是一种基本的分类和回归算法。 决策树模型呈树形结构,可以认为是if-then规则的集合,也可以认为是定义在特征空间与类空间上的条件概率分布。 决策树模型由结点和有向边组成,结点分为内部结点和叶结点,内部结点表示特征,叶结点表示类,有向边表示某一特征的取值。

机器学习入门之《统计学习方法》笔记整理——决策树