• 隐马尔可夫（HMM）算法
  HMM 简单的入门例子 霍金曾经说过，你多写一个公式，就会少一半的读者。 所以时间简史这本关于物理的书和麦当娜关于性的书卖的一样好。 我会效仿这一做法，写最通俗易懂的答案。 掷骰子 还是用最经典的例子，掷骰子。 假设我手里有三个不同的骰子。 第一个骰子是我们平常见的骰子（称这个骰子为D6），6个面，每个面（1，2，3，4，5，6）出现的概率是1/6。 第二个骰子是个四面体（称...
  2020-01-28 02:09:32 | Math
• 卡尔曼滤波（Kalman filtering）
  卡尔曼滤波（Kalman filtering） 卡尔曼滤波（Kalman filtering）是一种利用线性系统状态方程，通过系统输入输出观测数据，对系统状态进行最优估计的算法。 由于观测数据中包括系统中的噪声和干扰的影响，所以最优估计也可看作是滤波过程。 历史 斯坦利·施密特(Stanley Schmidt)首次实现了卡尔曼滤波器。卡尔曼在NASA埃姆斯研究中心访问时，发现他的方法...
  2020-01-28 02:09:32 | Math
• EM Algorithm 最大期望算法(Expectation Maximization)
  前言 EM 算法的讲解的内容包括以下几个方面： 1、最大似然估计 2、K-means算法 3、EM算法 4、GMM算法 EM算法本质是统计学中的一种求解参数的方法，基于这种方法，我们可以求解出很多模型中的参数。 1、最大似然估计 MLE 在求解线性模型的过程中，我们用到了最大似然估计(MLE)的思想。 EM算法达到的目的和最大似然估计是一样的，只不过EM算法可以帮助我们去计...
  2020-01-28 02:09:32 | Math
• 朴素贝叶斯算法
  朴素贝叶斯 朴素贝叶斯（Naive Bayes）是一种简单的分类算法，它的经典应用案例为人所熟知：文本分类（如垃圾邮件过滤）。 很多教材都从这些案例出发，本文就不重复这些内容了，而把重点放在理论推导（其实很浅显，别被“理论”吓到），三种常用模型及其编码实现（Python）。 如果你对理论推导过程不感兴趣，可以直接逃到三种常用模型及编码实现部分，但我建议你还是看看理论基础部分。 朴素贝...
  2020-01-28 02:09:32 | Math
• 抽样方法
  背景 给定一个的概率分布 P(x), 我们希望产生服从该分布的样本。 前面介绍过一些随机采样算法（如拒绝采样、重要性采样）可以产生服从特定分布的样本，但是这些采样算法存在一些缺陷（如难以选取合适的建议分布，只适合一元随机变量等）。 下面将介绍一种更有效的随机变量采样方法：MCMC 和 Gibbs采样，这两种采样方法不仅效率更高，而且适用于多元随机变量的采样。 随机模拟 随机模拟也可...
  2020-01-28 02:09:32 | Math
• MCMC 蒙特卡罗马尔科夫算法 Metropolis–Hastings + Gibbs 采样
  MCMC 算法 前面学习了 马尔科夫 和 蒙特卡罗算法。 蒙特卡罗的核心是寻找一个随机的序列，那么二者结合会有怎样的火花呢？ 从名字我们可以看出，MCMC由两个MC组成，即蒙特卡罗方法（Monte Carlo Simulation，简称MC）和马尔科夫链（Markov Chain ，也简称MC）。 背景 给定一个的概率分布 P(x), 我们希望产生服从该分布的样本。 前面介绍过一...
  2020-01-28 02:09:32 | Math
• 自然对数(Natural logarithm) e 的理解
  自然对数 自然对数是以常数e为底数的对数，记作lnN（N>0）。 在物理学，生物学等自然科学中有重要的意义，一般表示方法为lnx。 数学中也常见以logx表示自然对数。 什么是e？ 它说，什么是e？ 简单说，e 就是增长的极限。 概念 自然对数的底e是由一个重要极限给出的。 我们定义：当n趋于无穷大时， . e是一个无限不循环小数，其值约等于2.718281828...
  2020-01-28 02:09:32 | Math
• 蒙特卡罗方法 Monte Carlo method
  蒙特·卡罗方法（Monte Carlo method） 蒙特·卡罗方法（Monte Carlo method），也称统计模拟方法，是二十世纪四十年代中期由于科学技术的发展和电子计算机的发明，而被提出的一种以概率统计理论为指导的一类非常重要的数值计算方法。 是指使用随机数（或更常见的伪随机数）来解决很多计算问题的方法。与它对应的是确定性算法。 蒙特·卡罗方法在金融工程学，宏观经济学，计算...
  2020-01-28 02:09:32 | Math