1. 1. 机器学习有下面几种定义
  2. 2. 分类
    1. 2.1. 监督学习Supervised learning
    2. 2.2. 无监督学习
    3. 2.3. 半监督学习
    4. 2.4. 增强学习
  3. 3. 算法
    1. 3.1. 构造条件概率:回归分析和统计分类
    2. 3.2. 通过再生模型构造概率密度函数
    3. 3.3. 近似推断技术
    4. 3.4. 最优化

机器学习是近20多年兴起的一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。
机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。机器学习算法是一类从数据中自动分析获得规律,
并利用规律对未知数据进行预测的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密
切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。很多推论问题属于
无程序可循难度,所以部分的机器学习研究是开发容易处理的近似算法。

机器学习已广泛应用于数据挖掘、计算机视觉、自然语言处理、生物特征识别、搜索引擎、医学诊断、检测信用卡欺诈、
证券市场分析、DNA序列测序、语音和手写识别、战略游戏和机器人等领域。

机器学习有下面几种定义

  • 机器学习是一门人工智能的科学,该领域的主要研究对象是人工智能,特别是如何在经验学习中改善具体算法的性能。
  • 机器学习是对能通过经验自动改进的计算机算法的研究。
  • 机器学习是用数据或以往的经验,以此优化计算机程序的性能标准。
  • 一种经常引用的英文定义是:
  • A computer program is said to learn from experience E with respect to some class of tasks T and
  • performance measure P, if its performance at tasks in T, as measured by P, improves with
  • experience E.

分类

机器学习可以分成下面几种类别

监督学习Supervised learning

从给定的训练数据集中学习出一个函数,当新的数据到来时,可以根据这个函数预测结果。监督学习的训练集要求是
包括输入和输出,也可以说是特征和目标。训练集中的目标是由人标注的。常见的监督学习算法包括回归分析和统计
分类。

无监督学习

与监督学习相比,训练集没有人为标注的结果。常见的无监督学习算法有聚类。

半监督学习

介于监督学习与无监督学习之间。

增强学习

通过观察来学习做成如何的动作。每个动作都会对环境有所影响,学习对象根据观察到的周围环境的反馈来做出判断。

算法

具体的机器学习算法有

构造条件概率:回归分析和统计分类

人工神经网络
决策树
高斯过程回归
线性判别分析
最近邻居法
感知器
径向基函数核
支持向量机

通过再生模型构造概率密度函数

最大期望算法
graphical model:包括贝叶斯网和Markov随机场
Generative Topographic Mapping

近似推断技术

马尔可夫链
蒙特卡罗方法
变分法

最优化

大多数以上方法,直接或者间接使用最优化算法