M估计

M 估计是基于最小二乘估计发展起来的一种抗差估计(Robust Estimation)方法。

M估计的发展理论研究和实践经验表明高斯一马尔可夫模型的最小二乘估计,存在不足不稳健,也就是粗差发生时,参数的最小二乘估计不可靠,与其真值偏离太远。误差分布不是正态分布时,最小二乘估计不是最优估计。针对问题,最小二乘法的创立者之一,法国科学家勒让得指出,在使用最小二乘法时,要注意那些大的偏离值粗差可见,粗差问题不是现代才注意到,但其系统研究却是始于世纪年代,并被定义为估计,年发表的论文“位置参数的稳健估计”是其标志。在年,他将此方法用于一般的多元线性模型,自那以后,这个领域不仅受到统计学家的重视,更受到应用工作者的重视和欢迎,在测绘科学也不例外,几十年来,理论和应用上产生了一批重要成果并且对问题当误差不是正态分布时,在估计中可以找到优于最小二乘法的估计1。

尽管估计的初衷是为了解决最小二乘法的不稳健问题,但从它的发展来看永远超越了它最初的目的,实际上它是包括了稳健估计、最小二乘估计在内的一个广义的估计类。

M估计的极值法定义对独立同分布等精度模型

选定一个定义于一维欧氏空间R的实函数,令

式中是设计矩阵的行向量:X又是极值解这种估计就称为M估计,是Huber于1964年在发表的论文“位置参数的稳健估计”中引进的位置参数模型就是上式中只有一个未知参数、设计矩阵,A=（1,1...1）的情况。1973年,Huber进一步将这种估计拓展到独立同分布等精度的线性函数模型。应用中,我们常常面临独立同分布不等精度模型,由此拓展上式为

式中P是相应观测量或观测误差的权。

Huber引入估计的动机是追求参数估计的稳健性,这是最小二乘估计所缺乏的。但要注意到,稳健性只是参数估计的一个性质,这个性质与最优性不同,我们不能说愈稳健就愈好。对基于正态分布的参数估计,过于强调稳健性会导致效率损失2。

本词条内容贡献者为:

刘军 - 副研究员 - 中国科学院工程热物理研究所