CVPR2017:深度纹理编码网络 (Deep TEN: Texture Encoding Network)

论文速递 你找不到我 ⋅ 于 1个月前 ⋅ 163 阅读

“文中论文提出了一个新的深度学习模型,这个模型推广了传统的字典学习 (dictionary learning) 和残差编码 (Residual Encoders)”


这是一篇CVPR2017的投稿 (ArXiv的链接:https://arxiv.org/pdf/1612.02844v1.pdf) ,已被CVPR2017接收。在这里给大家介绍一下这部分的工作,不像写论文那样用词严谨,这里简单介绍一下核心思想,方便大家阅读。(我个人是来到美国之后才接触科研,文中学术名词的汉语表述有不当之处还请谅解。)

我们提出了一个新的深度学习模型,这个模型推广了传统的字典学习 (dictionary learning) 和残差编码 (Residual Encoders),比如 VLAD 和 Fisher Vector。提出的编码层 (Encoding Layer) 和已有的深度学习结构兼容,实现了端对端的材料识别 (End-to-end),并且取得了不错的效果。

file

这个方法主要是受到传统方法的启发:对于输入的图片,我们通常先提取图像特征(比如SIFT 或者是 filterbank responses),之后一个字典可以通过非监督式的聚类得到,这样我们可以对已有的图片特征进行编码(材料识别中通常使用一些无序的编码器,比如BoWs,VLAD),并使用分类器进行分类。传统方法有以下两个特点:1. 输入图片可以为任意大小,编码器可以转化为一个固定长度的表达。2. 特征本身是通用的(domain-independent),字典和编码表达通常挟带了域信息(domain-specific information)。

file

受到传统方法的启发(左图),Cimpoiet. al. CVPR 2015 使用了预训练的神经网络的卷积层提取了深度特征,并且使用了 Fisher Vector 编码器,刷新了当时的state-of-the-art(中图)。但是这种方法仍然有局限性,因为它包含了许多分步的优化,这样特征提取(卷积层),字典学习和编码器不能够从标识的数据(labeled data)中得到进一步优化。理想的方法是如右图,将整个字典学习和编码整合到一个CNN网络层中,使它与已有的深度学习体系兼容,这样以来就实现了端对端的学习优化。

方法部分有一些tricky,我们主要是提出了个数学模型 (Residual Encoding Model),推广了已有的编码器 (VLAD, Fisher Vector),并且使得整个系统是可微分的,这样我们就可以像已有的深度学习层一样,从loss function中学习到参数。也就是说它实现了监督式的字典学习(supervised dictionary learning)。这个模型有很多特性,它使得CNN网络可以接受任意大小的图片,并且因为字典学习和表达容易携带Domain信息,这样学习到的深度特征就更加容易应用于其他domain。

这个模型有很多可以应用的地方,除了文中提到的材料/纹理识别以外,因为它推广了VLAD和Fisher Vector,那么可以期待它在Robust Recognition中的应用前景(比如场景识别scene understanding),还有图像检索(image retrieval) 等等。欢迎大家多关注我的工作,而且我们提供基于Torch的代码(https://github.com/zhanghang1989/Deep-Encoding)。我个人现在在做visualize 和 inverse 这个编码网络,欢迎多交流 (RemoveThisifYouAreHuman~zhang.hang@rutgers.edu)。

这篇文章实现了之前很多paper想要努力却未能实现的目标——将Fisher Vector和CNN一起训练,包括 VLAD-CNN (Gong et al. 2014), FV-CNN (Cimpoi CVPR 2015), Bilinear CNN (Lin ICCV 2015) and NetVLAD (CVPR 2016) 甚至早期的 Deep Fisher Network (Simonyan et al. 2013)。很多人不了解本文和NetVLAD的区别,其实NetVLAD回避了反向传播梯度推倒的困难,直接将问题过于简化为CNN已有的模型,这一简化其实改变了残差编码(residual encoder)的特性。


作者:张航
原文:Deep TEN: Texture Encoding Network

推荐阅读:
CVPR 2017论文笔记— Dilated Residual Networks
CVPR 2017论文:基于网格的运动统计,用于快速、超鲁棒的特征匹配
CVPR 2017:Large Margin Object Tracking with Circulant Feature Maps
【简评】[CVPR2017]Loss Max-Pooling for Semantic Image Segmentatio

file
△ 关注极市平台
获得最新CV干货

微信公众号: 极市平台(ID: extrememart )
每天推送最新CV干货

成为第一个点赞的人吧 :bowtie:
回复数量: 0
暂无回复~
您需要登陆以后才能留下评论!