马尔可夫过程（以马尔科夫链Markov为例）
马尔科夫链（Markov）是最简单的马氏过程，即时间和状态过程的取值参数都是离散的马氏过程。
马尔可夫过程
马尔可夫过程的大概意思就是未来只与现在有关，与过去无关。
简单理解就是渣男只在乎下一刻会不会爱你只取决于这一时刻对你的新鲜感，而与你之前对这段感情的付出毫无关系。
设有一个随机过程X（t），如果对于下一个任意的时间序列 t_{1}<t_{2}<……<t_{n} ,在给定随机变量 X（t_{1}）=x_{1}，X（t_{2}）=x_{2}，……，X（t_{n-1}）=x_{n-1} 的条件下， X（t_{n}）=x_{n} 的分布可表示为 F_{t_{n},t_{1},t_{2}……t_{n-1}}（x_{n}|x_{1},x_{2}……x_{n-1}）=F_{t_{n}t_{n-1}}（x_{n}|x_{n-1}） 则称X（t）为马尔可夫过程或者简称马氏过程。
这种“下一时刻的状态至于当前状态有关，与上一时刻状态无关”的性质，称为无后效性或者马尔可夫性。而具有这种性质的过程就称为马尔可夫过程。
在马尔可夫过程中有两个比较重要的概念：转移分布函数、转移概率
马氏过程 X_{t} ，称条件概率 F_{s,t}=P\left\{ X_{t}\leq y|X_{s}=x \right\} 为过程的转移分布函数。
其条件概率 f_{t_{n}|t_{n-1}}(x_{n}|x_{n-1}) 为转移概率密度，
称 P(X_{t_{n}}=x_{n}|X_{t_{n-1}}=x_{n-1}) 为转移概率。
马尔科夫链
马尔科夫链（Markov）是最简单的马氏过程，即时间和状态过程的取值参数都是离散的马氏过程。时间和状态的取值都是离散值。
假定在每一个时刻 t_{n} (n=1,2,…)，X_{n}=X(t_{n}) 所有可能的状态的集合S是可数的，即可表示为S={0,1,2,…}。对应于时间序列t1，t2 ，…， tn，… ，马氏链的状态序列为i1，i2，…, in，… 。
对于马尔科夫链，若转移概率P(X_{t_{n}}=x_{n}|X_{t_{n-1}}=x_{n-1})与n无关（即与哪一次转移无关，仅与转移前后的状态有关），则该马氏链为齐次马氏链；否则称为非齐次马氏链。接下来我们仅讨论齐次马氏链。
对于齐次马氏链，转移概率为 P_{ij}=P\left\{ X_{n}=j| X_{n-1}=i\right\} ，称为马氏链的一步转移概率，并且其满足条件： P_{ij}\geq0，\sum_{j=0}^{\infty}{P_{ij}=1} ，j=0，1，……
例题：设有三个黑球和三个白球，把这六个球任意分给甲乙两人，并把甲拥有的白球数定义为该过程的状态，则有四种状态0,1,2,3。现每次从甲乙双方各取一球，然后相互交换。经过n次交换后过程的状态记为Xn，试问该过程是否是马氏链？如是，试计算其一步转移概率矩阵。
解：由题意知，甲拥有白球的状态为离散值，且当前状态仅与上一时刻状态有关。所以这个过程是马氏链。
由于六个球任意分给甲、乙两人，所以根据甲拥有球的数量不同而状态不同。
情况一：甲有1个球，则甲的状态有2种：0和1。
①甲当前状态为0，则说明甲有1个黑球，乙有2个黑球和3个白球，交换一次后
甲状态为0的概率：2/5
甲状态为1的概率：3/5
②甲当前状态为1，则说明甲有1个白球，乙有3个黑球和2个白球，则交换一次后
甲状态为0的概率：3/5
甲状态为1的概率：2/5
甲有2，3，4，5个球的情况依次类推即可，此处不再过多阐述。
除了一部转移以外，马尔科夫链还有n步转移，即通过n次达到目标状态
如上图，马尔科夫链的n步转移可以先经过m1步由状态i转移到状态k，然后再经过m2步由状态k转移到状态j。
P_{ij}^{m1+m2}=\sum_{k=0}^{\infty}{P_{ik}^{m1}P_{kj}^{m2}}
这个公式称为Chapman-Kolmogorov（查普曼-科尔莫戈洛夫）等式。
马尔可夫链状态转移特性
如果马氏链的两个状态i和j有下列特性：即存在整数n和n'有
P_{ij}^{n}>0，P_{ji}^{n’}>0
即从状态i(j)经过n（n’）步转移到状态j(i)的概率大于0，则称i和j是互通的。
如果马氏链的所有状态都是互通的，则该马氏链是不可约的。
如果马氏链的状态i有下列特性：即存在某个整数m≥1，使
P_{ii}^{m}>0
且存在某个整数d > 1并仅当m为d的整倍时有
P_{ii}^{m}>0
则状态i是有周期性的。
如果马氏链中没有一个状态是有周期性的，则称该马氏链为非周期的。
马尔科夫链的稳态分布
若下式成立
p_{j}=\sum_{j=0}^{\infty}{p_{i}}P_{ij}，j=0，1……
则称概率分布 \left\{ p_{j}|j\geq0 \right\} 是马氏链的稳态分布。对于稳态概率分布，存在
\sum_{j=0}^{\infty}{p_{j}}=1
稳态概率反映了系统达到稳态后，系统处于某一状态的可能性（概率）。
稳态分布可以表示为
即过程从初始状态X0= i 出发，最终转移到状态Xn= j的概率，并且与初始状态X0= i无关。
稳态分布也可以表示为
其中，pj表示该过程中访问状态j的时间比例或频率，且与初始状态无关。
马尔科夫链的全局平衡方程
在马尔可夫链在稳态情况下从一个状态出发总会转移到一个状态，所以
称为全局平衡方程。它表示在稳态情况下，从一个状态j转移出去的频率等于转移进入状态j的频率。
全局平衡方程是一种典型的求解概率分布的方法。