北大开源 ECCV2018 深度去雨算法:RESCAN

代码模型 Admin ⋅ 于 4个月前 ⋅ 508 阅读

来源:我爱计算机视觉@微信公众号

编者按:本文来自于ECCV2018接收的论文《Recurrent Squeeze-and-Excitation Context Aggregation Net for Single Image Deraining》。性能强悍,在所有评估指标下碾压state-of-the-art方法。

file

图像中雨水条纹会严重降低能见度,导致许多当前的计算机视觉算法无法工作,比如在自动驾驶场景下图像去雨就变得非常重要。本文提出了一种基于深度卷积和递归神经网络的新型深度网络体系结构,用于单图像去雨。

该文对图像去雨的多个挑战分别提出了解决方案,取得了非常显著的算法改进。

1.由于背景信息对于定位雨水位置非常重要,该文首先使用了扩张卷积神经网络(dilated convolutional neural network )来获取大的感受野,同时为更好地适应去雨任务修改了扩张卷积网络。

2.在大雨的图像中,雨水条纹有各种方向和形状,此时将其看作是多个雨水层的叠加。通过结合squeeze-and-excitation模块,根据强度和透明度为不同的雨水条纹层分配不同的α值。

3.由于雨水条纹层彼此重叠,因此在一个stage中不容易完全除去雨水。因此进一步将雨水分解分为多个stage。结合递归神经网络保留先前阶段中的有用信息并有利于后期的除雨。

最终算法在合成数据集和真实数据集上进行了大量实验,结果显示该文提出的方法在所有评估指标下都优于目前的state-of-the-art方法。

SCAN

结合扩张卷积和squeeze-and-excitation模块的单stage的网络架构。

file

SCAN的细节参数

file

RESCAN

结合RNN的多个stage的去雨架构。

file

在合成数据集上的去雨效果

file

合成数据集上的性能指标

相比以往算法改进异常显著。

file

真实数据集上的去雨效果

file

在真实数据集上用户调查结果

主观评价方法,通过对127幅图像6个人的投票调查,选择最佳去雨效果和保留的最佳细节的图像。RESCAN取得了压倒性优势。

file

代码:https://github.com/XiaLiPKU/RESCAN

论文:https://arxiv.org/abs/1807.05698v1



推荐文章
IEEE IV 2018:如何构建出逼真的下雨天场景,来验证物体识别的鲁棒性?德国图宾根大学做到了

OpenCV Gabor滤波器实现纹理提取与缺陷分析

微信公众号: 极市平台(ID: extrememart )
每天推送最新CV干货

成为第一个点赞的人吧 :bowtie:
回复数量: 0
暂无回复~
您需要登陆以后才能留下评论!