Cluster-based Co-saliency Detection笔记

时间：2014-02-09 16:06:31 收藏：0 阅读：661

1. 两个定义

co-saliency：在一组相似的图像中发现unique object (D. Jacobs 2010)// 从多幅图像中发现共有的显著性
co-segmentation：将两张或是多张图像中相似的对象分割感出来

2. co-saliency与co-segmentation之间的区别

在非监督的co-segmentation方法中，图像中的非显著但相似的背景会给corresponding过程带来副作用；
对于有歧义的图像，需要用户的输入来指导分割过程；
co-segmentation方法的计算量往往很大，尤其是面对大量的图像的时候。然而很多需求，例如图像缩放，目标定位和识别，对于精度要求往往不是很苛刻，只要能够快速定位出多张图像中的共有对象即可。

3. 本文所做的工作

基于聚类的co-saliency检测；
用的特征是contrast，spatial，correspondence；
优点是基本上是自底向上的，没有繁重的学习过程，而且简单、通用、有效；
在co-segmentation，robust image distance，weakly surpervised learning以及video foreground detection具有广泛的应用前景。

4. 本文的动机

单张图像中的显著性检测方法忽视了多张图像中的关联线索，因此，本文将重复属性做为附加约束来发现多张图像中的共有显著对象。所以本文既考虑了单张图像内的显著性(intra-saliency)，也考虑了多张图像间表现出的显著性(inter-saliency)。

5. 方法概述

符号说明：

$M$ 张图像记为 $\{I^j\}_{j=1}^M$ ；

图像 $I^j$ 中的像素集合记为 $\{p_i^j\}_{i=1}^{N_j}$ ，其中 $N_j$ 表示第j个image lattice（不是图像 $I^j$ 中的像素的个数？）；

对这M张图像进行聚类，得到K个cluster，记为 $\{C^k\}_{k=1}^K$ ，聚类中心记为 $\{\mu_k\}_{k=1}^K$ ， $\mu_k$ 是D维向量；

对于图像 $I^j$ 中每个像素 $p_i^j$ 以及对应的cluster index $b(p_i^j)$ ，定义一个映射函数 $b:\mathcal{R}^2\rightarrow {1,...,K}$ 。

$\{z_i^j\}_{i=1}^{N_j}$ 是图像 $I^j$ 中像素 $p_i^j$ 的归一化后的位置。

所用的显著性测度:

特征对比度测度Contrast Cue

    类 $C^k$ 的特征对比度测度 $w^c(k)$ 定义为类 $C^k$ 与其他类的特征对比度，形式化描述如下：

                  $w^c(k)=\sum_{i=1,i\neq k}^K\left (\frac{n^i}{N}||\mu^k-\mu^i||_2\right )$

其中 $N$ 为所有的图像的像素和， $n^i$ 为聚类 $C^i$ 的像素个数。所以，类中像素个数越多，对特征对比度的贡献也就更大。

特征对比度与直方图对比度之间的不同：

    这里衡量的是cluster的对比度，而直方图对比度衡量的是直方图的对比度；

    对比度测度只是三个显著性测度中的一个。

特征对比度测度的优点：

    cluster越是独特，cluster越是显著。

中心偏移测度Spatial Cue

偏移测度的依据是：人类视觉系统中，图像中心区域往往能够在比其他区域更加吸引人的注意。当对象与图像中心之间的距离越大时，显著性也就越来越减小。在单张图像中，称为中央偏向准则(center bias rule)。本文作者对这个概念进行了扩展，将其扩展到基于聚类的方法上。聚类 $C^k$ 的重心偏移测度 $w^s(k)$ 定义如下：

$w^s(k)=\frac{1}{n^k}\sum_{j=1}^{M} \sum_{i=1}^{N_j} \left[ \mathcal{N}\left ( ||z_i^j-\sigma^j||^2 | 0, \sigma^2\right )\cdot \delta[b(p_i^j)-C^k]\right ]$

与单张图像中的中心偏移测度不一样的是，这里定义的是多张图像上的全局中央偏向性。

图间分布测度Corresponding Cue

图间分布测度主要用于衡量多张图像上的cluster的分布的。重复率描述了一个对象在多张图像上重复出现的频率，是反映协同显著性的一个重要的全局属性。首先采用一个具有M个bin的直方图 $\hat{\mathbf{q}}^k=\{\hat{q}_j^k\}_{j=1}^M$ 来描述聚类 $C^k$ 在M张图像中的分布:

$\hat{q}_j^k=\frac{1}{n^k}\sum_{i=1}^{N_j} \delta[b(p_i^j)-C^k],j=1,...,M$

然后就可以定义图间分布测度 $w^d(k)$ :

$w^d(k)=\frac{1}{\mbox{var}(\hat{\mathbf{q}}^k)+1}$

在各个图像中分布越是均匀的cluster，对应的图间分布测度就越是大。

协同显著性图生成：

原文：http://www.cnblogs.com/qingliu411/p/3541077.html