论文推荐 | 可变形 DETR 目标检测器;不同类型的深度神经网络解释方法

来源:机器之心 参与:**杜伟、楚航、罗若天


目录:

1. Principles and Practice of Explainable Machine Learning*

2. A Survey of Deep Meta-Learning

3. Deformable DETR: Deformable Transformers for End-to-End Object Detection

4. CausalWorld: A Robotic Manipulation Benchmark for Causal Structure and Transfer Learning

5. Short-Term Solar Irradiance Forecasting Using Calibrated Probabilistic Models

6. Explaining Deep Neural Networks

7. ArXiv Weekly Radiostation:CV更多精选论文


论文1:Principles and Practice of Explainable Machine Learning*

摘要:在本文中,来自爱丁堡大学的研究者进行了一项有关可解释机器学习原理和实践的调查,以帮助领域从业者以及更广泛的数据科学家更好地理解可解释机器学习,并应用正确的工具。

file
可解释方法概览。

file
可解释人工智能(XAI)方法比较。

file
各种解释的优缺点。

推荐:这篇文章详尽全面地综述了可解释机器学习领域的各个方面知识。


论文2:A Survey of Deep Meta-Learning

摘要:近年来,深度元学习领域正经历高速发展的时期,但却没有对当前已有技术统一且深入的综述。所以,来自荷兰莱顿大学的研究者在这篇论文中不仅为读者提供了理论基础,还研究和总结了主要的方法,包括度量、模型和基于优化的技术等

file
多任务学习和元学习之间的区别。

file
本文涉及的深度元学习方法。

推荐:这篇深度元学习综述论文长达59页,想要了解该领域的读者值得一读。


论文3:Deformable DETR: Deformable Transformers for End-to-End Object Detection

摘要:今年 5 月底,Facebook AI 提出了 DETR,利用 Transformer 去做目标检测,该方法去除了许多目标检测中的人工设计组件,同时展现了非常好的性能。但是,DETR 存在收敛速度慢和特征分辨率有限等缺陷。为了解决这些问题,来自商汤研究院等机构的研究者提出了可变形 DETR,其注意力模块仅关注于参考点附近的一小部分采样点作为注意力模块中的 key 元素。可变形 DETR 可以在比 DETR 少 9/10 的训练轮数下,达到更好的性能(尤其是在小物体上)。在 COCO 基准上的大量实验表明了该方法的有效性。

file
可变形 DETR 目标检测器图示。

file
可变形 DETR 与 DETR 在 COCO 2017 val set 上的性能对比。

推荐:可变形DETR解决了 DETR 收敛慢、计算复杂度高这两大问题。


论文4:CausalWorld: A Robotic Manipulation Benchmark for Causal Structure and Transfer Learning

摘要:尽管强化学习(RL)最近取得了成功,但对于智能体来说,将已学到的技能迁移到相关环境仍然是一个挑战。为了促进该问题的研究,来自加拿大蒙特利尔大学等机构的研究者提出了CausalWorld,一种在机器人操纵环境中用于因果结构和迁移学习的基准

CausalWorld的主要优势在于,它提供了具有共同因果结构和潜在因素(如机器人和物体质量、颜色和大小等)的任何组合。因此,CausalWorld可以针对特定形式的泛化(如外观或物体质量的变化)轻松定义预期难度级别的训练和评估分布。

file

RL智能体通用训练和评估的主要组件。

file
Causal World与RLBench、MetaWorld、IKEA等的比较。

file
示例。

推荐:深度学习三巨头之一Yoshua Bengio也参与者这篇论文的写作。


论文5:Short-Term Solar Irradiance Forecasting Using Calibrated Probabilistic Models

摘要:推进概率太阳能预测方法对于支持将太阳能集成到电网至关重要。在这篇论文中,包括吴恩达在内、来自斯坦福大学等机构的研究者开发了多种用于预测太阳辐射照度的SOTA概率模型。他们调研了事后校准技术的使用,以确保实现校准良好的概率预测。具体而言,研究者使用SURFRAD网络中七个站点的公共数据对模型进行训练和评估,并证明了最佳模型NGBoost在小时内分辨率下的性能要高于所有站点的最佳基准太阳辐照度预测模型。 

file

每个站点的连续分级概率评(continuous ranked probability score, CRPS)比较。

推荐:采用CRUDE事后校准技术的NGBoost模型可以在小时分辨率预报上达到与数值天气预报模型相当的性能。


论文6:Explaining Deep Neural Networks

摘要:近年来,深度神经网络正在计算机视觉、自然语言处理和语音识别等多种领域发挥着重要作用,推动了人工智能的发展。但是,深度神经网络仍存在一些局限性,例如这些模型的决策过程通常无法向用户解释。但同时,在医疗、金融、法律等各个领域,了解人工智能系统决策制定背后的原因至关重要。因此,研究人员已经探索出了解释神经模型的一些方向。

10月6日,牛津大学计算机科学博士生、且继续攻读博士后的Oana Camburu在推特上公开了自己的博士论文《解释深度神经网络》(Explaining Deep Neural Networks),详尽全面地介绍了不同类型的深度神经网络解释方法,并表示「社区中该领域的研究正在增长,非常高兴自己进行了深入的挖掘。」

file
Shapley解释器和最小充分子集(minimal sufficient subset)解释器分别提供了至少两种ground-truth基于特征的解释。

file
模型BiLSTM-Max-PredExpl架构。

推荐:这位小姐姐将继续攻读牛津大学的博士后。



ArXiv Weekly Radiostation

机器之心联合由楚航、罗若天发起的ArXiv Weekly Radiostation,在 7 Papers 的基础上,精选本周更多重要论文,包括CV、领域10篇精选,详情如下:


本周 10 篇 CV 精选论文是:

1. Deep Learning Superpixel Semantic Segmentation with Transparent Initialization and Sparse Encoder.  (from Richard Hartley)

2. Uncertainty-Aware Few-Shot Image Classification.  (from Shih-Fu Chang)

3. Shape-Texture Debiased Neural Network Training.  (from Alan Yuille)

4. Spectral Synthesis for Satellite-to-Satellite Translation.  (from Ramakrishna Nemani)

5. Better Patch Stitching for Parametric Surface Reconstruction.  (from Pascal Fua)

6. Learning Propagation Rules for Attribution Map Generation.  (from Dacheng Tao)

7. Targeted Attention Attack on Deep Learning Models in Road Sign Recognition.  (from Wei Liu, Dacheng Tao)

8. Contralaterally Enhanced Networks for Thoracic Disease Detection.  (from Licheng Jiao)

9. Auto Seg-Loss: Searching Metric Surrogates for Semantic Segmentation.  (from Xiaogang Wang)

10. LM-Reloc: Levenberg-Marquardt Based Direct Visual Relocalization.  (from Daniel Cremers)

微信公众号: 极市平台(ID: extrememart )
每天推送最新CV干货