什么是最小二乘法

最小二乘法(又称最小平方法)是一种数学优化技术.他通过最小化误差的平方和寻找数据的最佳函数匹配.

利用最小二乘法可以简便地求得未知的数据,并使得这些求得的数据与实际数据之间误差的平方和为最小.

2018/4/27 posted in  MachineLearning

回归算法

总结一下,这一节主要记录了下面的内容

  1. 什么是回归算法.
  2. 线性回归,单变量线性回归,多变量线性回归
  3. 代价函数
  4. 过拟合与欠拟合
  5. 正则项

在这篇文章中,主要介绍了什么是回归算法,以及简单的线性回归.包括单变量线性回归和多变量线性回归.

同时介绍了用最小二乘法求解\(\theta\)值.接下介绍了防止过拟合问题,加入正则项.

最后介绍了如何评价模型的效果.

什么是回归算法

  1. 回归算法是一种有监督算法;
  2. 回归算法是一种比较常用的机器学习算法,用于建立解释变量(自变量X)和观测值(因变量Y)之间的关系;
  3. 从机器学习的角度来讲,用于构建一个算法模型(函数)来做属性(X)与标签(Y)之间的映射关系,在算法的学习过程中,试图寻找一个函数h:使得\(R^d\to R\)使得参数之间的关系拟合性最好;
  4. 回归算法中,算法(函数)的最终结果是一个连续的数据值,输入值(属性值)是一个d维度的属性/数值向量;
  5. 因此,回归算法是用于预测连续型数值输出的算法.

常用的回归算法有几种:比如,线性回归,Logistic回归,Softmax回归等等.先说最简单的线性回归算法.

Read more   2018/4/27 posted in  MachineLearning

学习机器学习

机器不能代替你学习,代替你成长,终归还得自己踏实学习!

对于下面的基础知识,不管是大学的时候没学好,还是由于时间太长了,导致自己忘记了.都无所谓了.既然打算学习机器学习,那么就不得不花时间去重拾这些知识.

至于如何学,很多说法,我在网上看了很多,比如:
1. 看视频学习;
2. 看教程学习;
3. 边学习边看.

Read more   2018/4/26 posted in  MachineLearning

python-matplotlib画图中文显示不出来

import matplotlib as mpl
import matplotlib.pyplot as plt

## 设置字符集,防止中文乱码
mpl.rcParams['font.sans-serif']=[u'simHei']
mpl.rcParams['axes.unicode_minus']=False
Read more   2018/4/21 posted in  Python

Markdown中用LaTex语法写数学公式

最近在学习机器学习和神经网络的一些知识, 在用Markdown做笔记的时候, 发现公式用到LaTeX十分方便, 写篇文章记录在学习过程中的常用的LaTeX公式和用法, 因为本博客支持MathJax, MathJax是一款运行在浏览器中的开源的数学符号渲染引擎,使用MathJax可以方便的在浏览器中显示数学公式,MathJax可以解析LatexMathMLASCIIMathML的标记语言。

关键字索引

Read more   2018/4/13 posted in  DevTools