异常值

科技工作者之家 2020-11-17

异常值(outlier)是指一组测定值中与平均值的偏差超过两倍标准差的测定值,与平均值的偏差超过三倍标准差的测定值,称为高度异常的异常值。

定义异常值outlier:一组测定值中与平均值的偏差超过两倍标准差的测定值1。与平均值的偏差超过三倍标准差的测定值,称为高度异常的异常值。在处理数据时,应剔除高度异常的异常值。异常值是否剔除,视具体情况而定。在统计检验时,指定为检出异常值的显著性水平α=0.05,称为检出水平;指定为检出高度异常的异常值的显著性水平α=0.01,称为舍弃水平,又称剔除水平(reject level)。

判断处理1、依据标准《计数抽样检验程序》(GB2828)、《正态样本异常值的判断和处理》(GB4883)。

2、异常值定义异常值是指样本中的个别值,其数值明显偏离它(或他们)所属样本的其余观测值。

3、异常值的种类(1)可能是总体固有的随机变异性的极端现,属同一总体;

(2)可能是试验条件和方法的偶然偏离,不属同一总体。

4、判断异常值的统计学原则(1)上侧情形:异常值为高端值;

(2)下侧情形:异常值为低端值;

(3)双侧情形:异常值在两端可能出现极端值。

5、判断异常值的规则:(1)标准差已知——奈尔(Nair)检验法;

(2)标准差未知——格拉布斯(Grubbs)检验法和狄克逊(Dixon)检验法。

6、格拉布斯(Grubbs)检验法(1)计算统计量

μ=(X1+X2+…+Xn)/n

s=(∑(Xi-μ)/(n-1))½(i=1,2…n)

Gn=(X(n)-μ)/s

式中μ——样本平均值;

s——样本标准差;

Gn——格拉布斯检验统计量。

(2)确定检出水平α,查表(见GB4883)得出对应n,α的格拉布斯检验临界值G1-α(n)。

(3)当Gn>G1-α(n),则判断Xn为异常值,否则无异常值。

(4)给出剔除水平α’的G1-α’(n),当当Gn>G1-α’(n)时,Xn为高度异常值,应剔除。

在回弹法检测砼强度中的应用将测区混凝土强度换算值按从小到大的顺序排列f1、f2、…fn,计算格拉布斯检验统计量:

Gn=(fn-m)/s

Gn’=(m-f1)/s

式中m——测区混凝土强度换算值的平均值;

s——测区混凝土强度标准差。

取检出水平α为5%,剔除水平α’为1%,按双侧情形检验,从附表中查得检出水平α对应格拉布斯检验临界值G0.975,剔除水平α’对应格拉布斯检验临界值G0.995。

若Gn>Gn’,且Gn>G0.975,则判断fn为异常值,否则,判断无异常值;

若Gn>Gn’,且Gn>G0.995,则判断fn为高度异常值,可考虑剔除;

若Gn’>Gn,且Gn’>G0.975,则判断f1为异常值,否则,判断无异常值;

若Gn’>Gn,且Gn’>G0.995,则判断f1为高度异常值,可考虑剔除;

分析异常值出现原因,判断异常值是否舍弃。不得随意舍去异常值,应检查异常值出现是否系材料或施工质量变化等原因所致。若检出了一个异常值,对除去已检出异常值后余下得数值继续用格拉布斯检验法检验,直到不能检出异常值为止。

本词条内容贡献者为:

杜强 - 高级工程师 - 中国科学院工程热物理研究所

科技工作者之家

科技工作者之家APP是专注科技人才,知识分享与人才交流的服务平台。