集成学习

集成学习的思想是将若干个学习器(分类器&回归器)组合之后产生一个新学习器.弱分类器(weak learner)指那些分类准确率只稍微好于随机猜测的分类器(error rate< 0.5).

集成算法的成功在于保证弱分类器的多样性(Diversity).而且集成不稳定的算法也能够得到一个比较明显的性能提升.

常见的集成学习思想有:
+ Bagging
+ Boosting
+ Stacking

Read more   2018/5/6 posted in  MachineLearning

决策树

在决策树算法的学习过程中,信息增益是特征选择的一个重要指标.它定义为一个特征能够为分类系统带来多少信息,带来的信息越多,说明该特征越重要,相应的信息增益也就越大

信息熵(Entropy)

\[H(X)=-\sum_{i=1}^mp_i\log_2(p_i)\]

Read more   2018/5/3 posted in  MachineLearning

逻辑回归

不知道什么是逻辑回归,但是也许看完接下来的文章,你会有个大概的印象吧

简单介绍Logistic回归

Logistic回归用到的知识点

  • Sigmoid函数和Logistic回归分类器
  • 最优化理论初步
  • 梯度下降最优化算法
  • 数据中的缺失项处理
Read more   2018/4/29 posted in  MachineLearning

回归算法

什么是回归算法

  1. 回归算法是一种有监督算法;
  2. 回归算法是一种比较常用的机器学习算法,用于建立解释变量(自变量X)和观测值(因变量Y)之间的关系;
  3. 从机器学习的角度来讲,用于构建一个算法模型(函数)来做属性(X)与标签(Y)之间的映射关系,在算法的学习过程中,试图寻找一个函数h:使得\(R^d\to R\)使得参数之间的关系拟合性最好;
  4. 回归算法中,算法(函数)的最终结果是一个连续的数据值,输入值(属性值)是一个d维度的属性/数值向量;
  5. 因此,回归算法是用于预测连续型数值输出的算法.

线性回归

Read more   2018/4/27 posted in  MachineLearning

学习机器学习

机器不能代替你学习,代替你成长,终归还得自己踏实学习!

对于下面的基础知识,不管是大学的时候没学好,还是由于时间太长了,导致自己忘记了.都无所谓了.既然打算学习机器学习,那么就不得不花时间去重拾这些知识.

至于如何学,很多说法,我在网上看了很多,比如:
1. 看视频学习;
2. 看教程学习;
3. 边学习边看.

Read more   2018/4/26 posted in  MachineLearning