逻辑回归

不知道什么是逻辑回归,但是也许看完接下来的文章,你会有个大概的印象吧

简单介绍Logistic回归

Logistic回归用到的知识点

  • Sigmoid函数和Logistic回归分类器
  • 最优化理论初步
  • 梯度下降最优化算法
  • 数据中的缺失项处理
Read more   2018/4/29 posted in  MachineLearning

梯度下降笔记

2018/4/28 posted in  MachineLearning

什么是最小二乘法

最小二乘法(又称最小平方法)是一种数学优化技术.他通过最小化误差的平方和寻找数据的最佳函数匹配.

利用最小二乘法可以简便地求得未知的数据,并使得这些求得的数据与实际数据之间误差的平方和为最小.

2018/4/27 posted in  MachineLearning

回归算法

总结一下,这一节主要记录了下面的内容

  1. 什么是回归算法.
  2. 线性回归,单变量线性回归,多变量线性回归
  3. 代价函数
  4. 过拟合与欠拟合
  5. 正则项

在这篇文章中,主要介绍了什么是回归算法,以及简单的线性回归.包括单变量线性回归和多变量线性回归.

同时介绍了用最小二乘法求解\(\theta\)值.接下介绍了防止过拟合问题,加入正则项.

最后介绍了如何评价模型的效果.

什么是回归算法

  1. 回归算法是一种有监督算法;
  2. 回归算法是一种比较常用的机器学习算法,用于建立解释变量(自变量X)和观测值(因变量Y)之间的关系;
  3. 从机器学习的角度来讲,用于构建一个算法模型(函数)来做属性(X)与标签(Y)之间的映射关系,在算法的学习过程中,试图寻找一个函数h:使得\(R^d\to R\)使得参数之间的关系拟合性最好;
  4. 回归算法中,算法(函数)的最终结果是一个连续的数据值,输入值(属性值)是一个d维度的属性/数值向量;
  5. 因此,回归算法是用于预测连续型数值输出的算法.

常用的回归算法有几种:比如,线性回归,Logistic回归,Softmax回归等等.先说最简单的线性回归算法.

Read more   2018/4/27 posted in  MachineLearning

学习机器学习

机器不能代替你学习,代替你成长,终归还得自己踏实学习!

对于下面的基础知识,不管是大学的时候没学好,还是由于时间太长了,导致自己忘记了.都无所谓了.既然打算学习机器学习,那么就不得不花时间去重拾这些知识.

至于如何学,很多说法,我在网上看了很多,比如:

  1. 看视频学习;
  2. 看教程学习;
  3. 边学习边看.
Read more   2018/4/26 posted in  MachineLearning