论文推荐 | NumPy 论文登上 Nature;高效 Transformer 综述

内容来源:机器之心
参与:**杜伟、楚航、罗若天****

上本周的重要论文包括 登上 Nature 的 NumPy 论文,以及高效 Transformer 综述论文。


目录:

1. High-frequency Component Helps Explain the Generalization of Convolutional Neural Network

2. Learning from Very Few Samples: A Survey

3. Array programming with NumPy

4. Progress in Quantum Computing Cryptography Attacks

5. Implicit Graph Neural Networks

6. Improving Conversational Recommender Systems via Knowledge Graph based Semantic Fusion

7. Efficient Transformers: A Survey

8. ArXiv Weekly Radiostation:CV更多精选论文


论文 1:High-frequency Component Helps Explain the Generalization of Convolutional Neural Network

摘要:如何理解神经网络的泛化能力?CMU 的汪浩瀚、邢波等人在这篇论文中另辟蹊径,从数据的角度入手,探讨那些曾让我们百思不得其解的泛化现象

file

file

推荐:研究者认为在未来,更加直观地把人的视觉特征加入模型中的技术可能会比较重要。


论文 2:Learning from Very Few Samples: A Survey

摘要:少样本学习(FSL)是机器学习领域中重要且有难度的课题。基于少量样本进行学习和泛化的能力是区分人工智能和人类智能的重要分界线,因为人类往往能够基于一个或少量样本建立对新事物的认知,而机器学习算法通常需要数百或数千个监督样本才能实现泛化。

少样本学习的研究可以追溯到 21 世纪初,近年来随着深度学习技术的发展它也受到广泛的关注,但是目前关于 FSL 的综述文章较少。清华大学教授、IEEE Fellow 张长水等人广泛阅读和总结了自 21 世纪初到 2019 年的 300 余篇论文,写了一篇关于 FSL 的综述文章

这篇综述文章回顾了 FSL 的演进历史和当前进展,将 FSL 方法分为基于生成模型和基于判别模型两大类,并重点介绍了基于元学习的 FSL 方法。

file

file

推荐:30 页 PDF,400+ 参考文献,清华大学张长水等撰写少样本学习综述文章。


论文 3:Array programming with NumPy

摘要:NumPy 是什么?它是大名鼎鼎的使用 Python 进行科学计算的基础软件包,是 Python 生态系统中数据分析、机器学习、科学计算的主力军,极大简化了向量与矩阵的操作处理。近日,NumPy 核心开发团队的论文终于在 Nature 上发表,详细介绍了使用 NumPy 的数组编程。这篇综述论文的发表距离 NumPy 诞生已经过去了 15 年

file

file

file

推荐:15 年!NumPy 论文终出炉,还登上了 Nature。


论文 4:Progress in Quantum Computing Cryptography Attacks

摘要:通用量子计算机器件进展缓慢,对实用化 1024-bit 的 RSA 密码破译尚不能构成威胁,现代密码依旧是 安全的。量子计算密码攻击需要探索新的途径:一是,量子计算能否协助 / 加速传统密码攻击模式,拓展已有量子 计算的攻击能力;二是,需要寻找 Shor 算法之外的量子计算算法探索密码攻击。对已有的各类量子计算整数分解 算法进行综述,分析量子计算密码攻击时面对的挑战,以及扩展至更大规模整数分解存在的问题。

结合 Shor 算法 改进过程,分析 Shor 算法对现代加密体系造成实质性威胁前遇到的困难并给出 Shor 破译 2048 位 RSA 需要的资 源。分析基于 D-Wave 量子退火原理的 RSA 破译,这是一种新的量子计算公钥密码攻击算法,与 Shor 算法原理上 有本质性不同。将破译 RSA 问题转换为组合优化问题,利用量子退火算法独特的量子隧穿效应跳出局部最优解逼 近全局最优解,和经典算法相比有指数级加速的潜力。进一步阐述 Grover 量子搜索算法应用于椭圆曲线侧信道攻 击,拓展其攻击能力。探讨量子人工智能算法对 NTRU 等后量子密码攻击的可能性。

file

file

file

推荐:这篇论文在 2020 年 9 月份的《计算机学报》上发表。


论文 5:Implicit Graph Neural Networks

摘要:图神经网络(GNN)是得到广泛应用的深度学习模型,这些模型从图结构数据中学习有意义的表示。但是,由于底层循环结构的有限属性,当前 GNN 方法可能很难捕获底层图中的长期依赖(long-range dependency)。

为了克服相关困难,来自 UC 伯克利和清华大学的研究者在本文中提出了一种名为隐图神经网络(implicit graph neural network, IGNN)的图学习框架,其中预测基于包含隐定义「状态」向量的定点平衡方程的解

具体而言,研究者使用 Perron-Frobenius 定理推导出了确保该框架适定性(well-posedness)的充分条件。通过隐微分,研究者又推导出了一种易处理的投影梯度下降方法来训练框架。

一系列任务上的实验表明,IGNN 始终捕获了长期依赖,并优于当前 SOTA 模型。

file

file

推荐:论文一作 Fangda Gu 为 UC 伯克利 EECS 博士生。


论文 6:Improving Conversational Recommender Systems via Knowledge Graph based Semantic Fusion

摘要:在这篇论文中,来自北京大学和中国人民大学的研究者合并了面向单词和实体的知识图谱(KG)以提升对话推荐系统(CRS)中的数据表示,并采用互信息最大化来对齐单词和实体层面的语义空间

基于对齐的语义表示,研究者进一步推出了用于做出准确建议的知识图谱增强型推荐组件,以及可以在响应文本中生成信息关键词或实体的知识图谱增强型对话组件。

大量的实验表明,本研究中的方法可以在推荐和对话任务中实现更好的性能。

file

file

推荐:这篇论文被 ACM SIGKDD 2020 收录。


论文 7:Efficient Transformers: A Survey

摘要:该论文提出了一种针对高效 Transformer 模型的分类法,按照技术创新和主要用途进行分类。具体而言,该论文综述了在语言和视觉领域均有应用的 Transformer 模型,并为其中的部分模型提供了详细的解读。

file

file

file

推荐:这是一篇针对高效 Transformer 模型的综述文章。


ArXiv Weekly Radiostation

机器之心联合由楚航、罗若天发起的ArXiv Weekly Radiostation,在 7 Papers 的基础上,精选本周更多重要论文,包括CV领域各10篇精选,详情如下:

本周 10 篇 CV 精选论文是:

1. Layered Neural Rendering for Retiming People in Video.  (from Andrew Zisserman, David Salesin, William T. Freeman)

2. Evaluating Self-Supervised Pretraining Without Using Labels.  (from Trevor Darrell, Kurt Keutzer)

3. Perceiving Traffic from Aerial Images.  (from Sven Kreiss)

4. Multiple Exemplars-based Hallucinationfor Face Super-resolution and Editing.  (from Tinne Tuytelaars)

5. BOP Challenge 2020 on 6D Object Localization.  (from Carsten Rother, Jiri Matas)

6. Promoting Connectivity of Network-Like Structures by Enforcing Region Separation.  (from Pascal Fua)

7. HOTA: A Higher Order Metric for Evaluating Multi-Object Tracking.  (from Philip Torr, Andreas Geiger, Bastian Leibe)

8. Calibrating Self-supervised Monocular Depth Estimation.  (from Andrea Vedaldi)

9. PointIso: Point Cloud Based Deep Learning Model for Detecting Arbitrary-Precision Peptide Features in LC-MS Map through Attention Based Segmentation.  (from Ming Li)

10. Optimal Use of Multi-spectral Satellite Data with Convolutional Neural Networks.  (from James Foley)

微信公众号: 极市平台(ID: extrememart )
每天推送最新CV干货