显着图

科技工作者之家 2020-11-17

在计算机视觉中,显著性是一种图像分区的模式,而显着图(英语:Saliency map)是显示每个像素独特性的图像。显着图的目标在于将一般图像的表示简化或是改变为更容易分析的样式。举例来说,某个像素在一张彩色图中具有较高的灰阶,其会在显着图中以较为明显的方式被显示出来。

简介在计算机视觉中,显着性是一种图像分区的模式,而显着图(英语:Saliency map)是显示每个像素独特性的图像。显着图的目标在于将一般图像的表示简化或是改变为更容易分析的样式。举例来说,某个像素在一张彩色图中具有较高的灰阶,其会在显着图中以较为明显的方式被显示出来。

视觉刺激的观点上,如果某些特征特别能够被捕捉到注意力,这样子的特性在心理学上被称为显着性(英语:saliency)。1

图像显着性如前述,显着性是图像分区的一部分,图像分区通常用于定位图像中的物体和边界(例:线条,曲线等)。更精确来说,图像分区是为图像中的每个像素(pixel)分配一个标签的过程,以便让相同标签的像素能够共享某些特征。

图像显着性是图像中重要的视觉特征,体现出人眼对图像各区域的重视程度,自从Laurent Itti在1998年发表的论文后,产生了大量的显着性映射方法。图像显着性也广泛运用在压缩,编码,图像边缘加强,显着性目标分区和提取等方面。1

视觉显着性检测视觉注意机制,即面对一个场景时,人类自动地对感兴趣区域进行处理而选择性地忽略不感兴趣区域,这些人们感兴趣区域被称之为显着性区域。

视觉显着性检测(英语:Visual Saliency Detection),指透过算法模拟人的视觉,提取出图像中的显着性区域。

人类的视觉注意机制主要分为两种:

由下而上基于数据驱动的机制:受感知数据的驱动,将人的视点引导至图像或场景中的显着性区域;利用图像的亮度,边缘,颜色等特征,判断目标区块与周围的差异,进而计算出显着性。

由上而下基于任务驱动目标的机制:由人的认知因素决定,对图像的某些特定特征来计算图像区域的显着性。

一般认为,良好的视觉显着性检测模型需要至少满足以下三个标准:

良好的检测率:要有较低丢失实际显着区域的可能性以及将背景错误地标记为显着区域的错误发生。

高分辨率:产生的显着图需要具有高分辨率以准确定位显着物体并保留原始图像消息。

计算效率:作为其他复杂流程的起始点,这些模型应该要能够快速检测显着区域。

认知注意模型对于一幅输入的图像,该模型提取初级视觉特征:颜色、亮度和方位、在多种尺度下使用中央环绕(Center-surround)操作产生体现显着性量值的特征图,将这些特征图合并得到最终的显着图(Saliency map)后,利用生物学中赢者取全(Winner-take-all)的竞争机制得到图像中最显着的空间位置, 用来引导注意,最后采用返回抑制(Inhibition of return) 的方法来完成注意焦点的转移。

决策论注意模型在决策论模型的观点中,感知系统因为不断进化,从而能产生关于周遭环境在决策论概念下的最佳解。决策论注意模型能表达由下而上和由上而下的注意。其主要重点在于视觉注意应被当前任务有关的最优性所驱动。其理论已在计算机视觉中得到了成功的应用,如分类和注意定位预测,这两者均获得很高的准确率。

频域分析注意模型这是一种基于频谱分析的显着性模型,非常容易解释和实现,由于其理论基于快速傅里叶转换实现,能够满足实时(real-time)要求,此模型在注意焦点预测和显着区域检测方面获取了很大的成功,和iNVT类似的模型相比,运算速度可提高近10倍。

图论注意模型图论模型是把眼球活动看作一个时间序列,由于有大量的隐变量影响眼球运动,因此,该类注意模型使用了隐马尔科夫模型、动态贝叶斯网和条件随机场等方法。图论模型可以对复杂的注意机制建模,因此能获取较好的预测能力,缺点在于模型的高复杂度。1

灰度图像在计算机领域中,灰度(Gray scale)数字图像是每个像素只有一个采样颜色的图像。这类图像通常显示为从最暗黑色到最亮的白色的灰度,尽管理论上这个采样可以是任何颜色的不同深浅,甚至可以是不同亮度上的不同颜色。灰度图像与黑白图像不同,在计算机图像领域中黑白图像只有黑白两种颜色,灰度图像在黑色与白色之间还有许多级的颜色深度。但是,在数字图像领域之外,“黑白图像”也表示“灰度图像”,例如灰度的照片通常叫做“黑白照片”。在一些关于数字图像的文章中单色图像等同于灰度图像,在另外一些文章中又等同于黑白图像。

灰度图像经常是在单个电磁波频谱如可见光内测量每个像素的亮度得到的。

用于显示的灰度图像通常用每个采样像素8 bits的非线性尺度来保存,这样可以有256种灰度(8bits就是2的8次方=256)。这种精度刚刚能够避免可见的条带失真,并且非常易于编程。在医学图像与遥感图像这些技术应用中经常采用更多的级数以充分利用每个采样10或12 bits的传感器精度,并且避免计算时的近似误差。在这样的应用领域流行使用16 bits即65536个组合(或65536种颜色)。2

本词条内容贡献者为:

王沛 - 副教授、副研究员 - 中国科学院工程热物理研究所

科技工作者之家

科技工作者之家APP是专注科技人才,知识分享与人才交流的服务平台。