• 问答
  • 技术
  • 实践
  • 资源
AAAI 2022|大连理工 IIAU Lab 提出 SSLSOD:自监督预训练的 RGB-D 显著性目标检测模型
技术讨论

AAAI 2022|大连理工IIAU Lab提出SSLSOD:自监督预训练的RGB-D显著性目标检测模型

作者 | Lart
编辑 | 极市平台

大连理工IIAU Lab提出SSLSOD:自监督预训练的RGB-D显著性目标检测模型。本文在显著性目标检测任务(SOD)中,首次引入自监督预训练。凭借提出的有效的前置任务(pretext task),在仅使用少量无标签的RGB-D数据进行预训练的情况下,该模型仍能够具有竞争力的表现。

论文链接:https://arxiv.org/pdf/2101.12482.pdf

工作动机

现有的全监督SOD方法几乎都是采用基于ImageNet预训练的Backbone作为编码器,与解码器(随机初始化)同时进行微调来完成SOD这一下游任务(downstream task)。然而,ImageNet数据量庞大且需要人工标注,对ImageNet的过度依赖会产生许多负面影响。最近几年,自监督学习发展火热,潜力巨大。

对于RGB-D SOD任务本身,从特征融合角度,主要涉及跨模态融合以及跨层级融合。然而,现有的RGB-D SOD方法主要关注于跨模态融合,并为之设计了各式各样甚至繁琐的结构,却忽略了跨层级融合的设计。从网络结构角度,Saliency map的生成最终是由解码器完成的,倘若跨层级融合不充分,那么即使跨模态融合相当完美,最终的性能也将会大打折扣。RGB与Depth, High-level与Low-level的融合,其根本属性都是一对具有互补属性关系的特征。因此,从互补属性出发,设计一个简单&有效&通用的融合模块是十分有必要的。

解决方案

为了制定合理的自监督预训练任务,我们需要详细分析为何采用ImageNet预训练可以在SOD获得不错的效果。首先,借助分类任务,经过ImageNet预训练的网络其通过类激活图(CAM)可以观察到,对于显著性目标往往有着较高的注意力。在现实生活中,显著性目标在深度位置上,相比于背景也往往有着较明显的对比(Depth)。

为此,利用Depth Estimation这一任务,能够帮助编码器提升显著性目标的定位能力。然后,我们列举了一个典型的基于ImageNet预训练的RGB-D抽象结构图。RGB与Depth同时加载相同的Classification的预训练权重,解码器联合两个模态特征完成SOD这一相同任务。

类比以上过程,我们首先提出了第一个Pretext task:跨模态自编码器(Cross-modal Auto-encoder)。两模态间的相互预测,能够缩减其之间的GAP(主要是指 RGB 模态反映了一个场景的外观,而深度模态体现了不同位置的相对空间距离。显著目标可能外观光滑,但深度不同,反之亦然。为了完整地分割目标,我们必须对齐多模态特征,即缩小两种模态之间的差距。跨模态自编码器可以促进 RGB 和深度编码器相互深度感知,使得每个编码器的特征流具有多模态属性,从而实现对齐)。设计Depth预测RGB的另一个好处是可以挖掘Depth编码器的潜能(越困难的任务往往越有利于上下文信息的挖掘。[Scaling and benchmarking self-supervised visual representation learning, CVPR 2019])。

接着,我们按照图中类比设计了第二个Pretext task:深度轮廓估计(Depth-contour Estimation)。 该任务的设计来源于三方面:(1)确定的预测任务为模态间的融合提供了条件。(2)Contour是下游任务的预测图中的一个基本属性,倘若能够有着精准的Contour Estimation,会极大的缓解下游任务的压力,即仅需完成Contour内外的前景/背景分类。(3)Depth-Contour相比于RGB-Contour的背景干扰更少且关于显著性的信息更多。

两阶段自监督流程图
图注:两阶段自监督流程图

我们提出了一个称为一致性-差异聚合(CDA)的通用模块,以实现跨模态和跨层级的融合。具体来说,对于具有互补关系的两类特征,我们计算它们的联合一致(JC)特征和联合差异(JD)特征。 JC更加关注它们的一致性,抑制非显著信息的干扰,而JD描绘了它们在显著区域的差异,鼓励跨模态或跨层级对齐。

网络框架

本文的自监督预训练和下游任务均采用的同一个网络框架。因此,能够在预训练结束后,可以无缝地加载预训练权重,更容易训练。

实验结果

Ours-SSL虽然没有超过Ours-ImageNet, 但是却可以超越一些其他ImageNet-based的方法。

定性比较图
图注:定性比较法

展现了CDA模块的有效性
图注:展现了CDA模块的有效性

展现了自监督前置任务的有效性
图注:展现了自监督前置任务的有效性

展现了预训练数据规模的影响
图注:展现了预训练数据规模的影响

我们设计的第一个前置任务的权重,可以直接作为其他RGB-D SOD的编码器初始化,可以看到相比于随机初始化,具有明显的优势。

我们给出一些本文的潜在/未来工作:(1)对解码器进行自监督预训练。以往的方法忽视了对解码器预训练,仅是简单的使用随机初始化解码器权重(潜在工作)。(2)半自监督。半监督与自监督交织在一起(未来工作)。(3)虽然,本文设计的自监督模型与ImageNet-based模型之间的性能仍有差距,但是当前仅使用了少于0.5%ImageNet规模的数据量,增大预训练规模,潜力巨大(未来工作)。

总结

  • 本文是第一个引入自监督预训练到SOD任务中的工作。

  • 本文是第一个旨在统一跨模态与跨层级融合的RGB-D SOD工作。

代码后续开源(预计AAAI 2022线上开会结束后),请关注:https://github.com/Xiaoqi-Zhao-DLUT/SSLSOD

更多相关工作,请关注作者个人主页:https://xiaoqi-zhao-dlut.github.io

  • 1
  • 0
  • 1795
收藏
暂无评论