吉布斯采样

吉布斯采样（Gibbs sampling）是统计学中用于马尔科夫蒙特卡洛（MCMC）的一种算法，用于在难以直接采样时从某一多变量概率分布中近似抽取样本序列。该序列可用于近似联合分布、部分变量的边缘分布或计算积分（如某一变量的期望值）。某些变量可能为已知变量，故对这些变量并不需要采样。

简介采样是以一定的概率分布，看发生什么事件。吉布斯采样常用于统计推断（尤其是贝叶斯推断）之中。这是一种随机化算法，与最大期望算法等统计推断中的确定性算法相区别。与其他MCMC算法一样，吉布斯采样从马尔科夫链中抽取样本，可以看作是Metropolis–Hastings算法的特例，可以由马尔科夫链和概率转移矩阵的性质推出其采样分布最终收敛于联合分布。该算法的名称源于约西亚·威拉德·吉布斯，由斯图尔特·杰曼与唐纳德·杰曼兄弟于1984年提出。吉布斯采样适用于条件分布比边缘分布更容易采样的多变量分布。在统计学和统计物理学中，gibbs抽样是马尔可夫链蒙特卡尔理论（MCMC）中用来获取一系列近似等于指定多维概率分布（比如2个或者多个随即变量的联合概率分布）观察样本的算法。吉布斯采样算法识别模体的基本原理通过随机采样不断更新模体模型及其在各条输入序列中出现的位置，优化目标函数，当满足一定的迭代终止条件或者达到最大迭代次数时就得到了最终所求的模体。吉布斯采样算法是一种启发式学习方法，它假定每一条序列只包含一个特定长度的模体实例，在各条序列上随机选取一个模体的起始位置，这样便得到了初始训练集，然后通过更新步骤和采样步骤迭代改进模体模型1。假设我们需要从联合分布中抽取的个样本，记第i个样本为。吉布斯采样的过程则为：

确定初始值；假设已得到样本，记下一个样本为，于是可将其看作一个向量，对其中某一分量，可通过在其他分量已知的条件下该分量的概率分布来抽取该分量。对于此条件概率，我们使用样本，中已得到的分量到以及上一样本中的分量到，即。重复上述过程 k次。如果仅考虑其中部分变量，则可以得到这些变量的边缘分布。此外，我们还可以对所有样本求某一变量的平均值来估计该变量的期望。

梅特罗波利斯－黑斯廷斯算法梅特罗波利斯－黑斯廷斯算法（Metropolis–Hastings algorithm）是统计学与统计物理中的一种马尔科夫蒙特卡洛（MCMC）方法，用于在难以直接采样时从某一概率分布中抽取随机样本序列。得到的序列可用于估计该概率分布或计算积分（如期望值）等。梅特罗波利斯－黑斯廷斯或其他MCMC算法一般用于从多变量（尤其是高维）分布中采样。对于单变量分布而言，常会使用自适应判别采样（adaptive rejection sampling）等其他能抽取独立样本的方法，而不会出现MCMC中样本自相关的问题。该算法的名称源于美国物理学家尼古拉斯·梅特罗波利斯与加拿大统计学家W·K·黑斯廷斯。

马尔科夫蒙特卡洛马尔科夫蒙特卡洛（Markov chain Monte Carlo，MCMC）方法（含随机游走蒙特卡洛方法）是一组用马氏链从随机分布取样的算法，之前步骤的作为底本。步数越多，结果越好。创建一个具有期望属性的马氏链并非难事，难的是如何决定通过多少步可以达到在许可误差内的稳定分布。一个好的马氏链具有快速混合——从开始阶段迅速获得的一个稳定状态。因于初始样本，最常见的MCMC取样只能近似得到分布。复杂的MCMC改进算法如过往耦合，但是会消耗更多的计算资源和时间。典型用法是模拟一个随机行走的行人来进行路径优化等。每一步都算作是一个状态。而统计经过次数最多的地方将在下一步中更有可能为目的地。马氏蒙特卡洛方法是一种结合了蒙特卡罗法的解决方案。但不同于以往的蒙特卡洛integration是统计独立的，MCMC中的是统计相关的。MCMC方法是使用马尔科夫链的蒙特卡罗积分，其基本思想是：构造一条Markov链使其平稳分布为待估参数的后验分布，通过这条马尔科夫链产生后验分布的样本，并基于马尔科夫链达到平稳分布时的样本（有效样本）进行蒙特卡罗积分。

马尔可夫链马尔可夫链，因安德烈·马尔可夫（A.A.Markov，1856－1922）得名，是指数学中具有马尔可夫性质的离散事件随机过程。该过程中，在给定当前知识或信息的情况下，过去（即当前以前的历史状态）对于预测将来（即当前以后的未来状态）是无关的。在马尔可夫链的每一步，系统根据概率分布，可以从一个状态变到另一个状态，也可以保持当前状态。状态的改变叫做转移，与不同的状态改变相关的概率叫做转移概率。随机漫步就是马尔可夫链的例子。随机漫步中每一步的状态是在图形中的点，每一步可以移动到任何一个相邻的点，在这里移动到每一个点的概率都是相同的（无论之前漫步路径是如何的）。

本词条内容贡献者为:

宋春霖 - 副教授 - 江南大学