论文推荐 | 当支持向量机遇上神经网络;EagerPy 实现多框架无缝衔接

内容来源:机器之心

参与:**杜伟、楚航、罗若天**


本周值得关注的论文有支持向量机向神经网络的扩展性研究,以及API 统一、干净且适配 PyTorch、TF 的新型 EagerPy 框架。

目录:

1. AMBERT: A PRE-TRAINED LANGUAGE MODEL WITH MULTI-GRAINED TOKENIZATION

2. Graph Embedding for Combinatorial Optimization: A Survey

3. Neural Representation Learning for Natural Language Processing

4. Self-supervised learning through the eyes of a child

5. EagerPy: Writing Code That Works Natively with PyTorch, TensorFlow, JAX, and NumPy

6. ArXiv Weekly Radiostation:CV 更多精选论文


论文 1:AMBERT: A PRE-TRAINED LANGUAGE MODEL WITH MULTI-GRAINED TOKENIZATION

摘要:近日,字节跳动 Xinsong Zhang、李航两位研究者在细粒度和粗粒度标记化的基础上,提出了一种新的预训练语言模型,他们称之为 AMBERT(一种多粒度 BERT)。在构成上,AMBERT 具有两个编码器。对于英文,AMBERT 将单词序列(细粒度标记)和短语序列(粗粒度标记)作为标记化后的输入,其中使用一个编码器处理单词序列,另一个编码器处理短语序列,并利用两个编码器之间的共享参数,最终分别创建单词和短语的上下文表示序列。

研究团队已经在一些中文和英文的基准数据集(包括 CLUE、GLUE、SQuAD 和 RACE)上进行了实验。实验结果表明,AMBERT 的性能几乎在所有情况下都优于现有的最佳性能模型。

file

file

推荐:尤其是对于中文而言,AMBERT 的提升效果显著


论文 2:Graph Embedding for Combinatorial Optimization: A Survey

摘要:在这篇论文中,香港浸会大学的研究者对近来用于解决组合优化(combinatorial optimization, CO)的图嵌入方法进行了综述。大多数图嵌入方法分为两个阶段:图预处理和 ML 模型学习。所以,本文也从图预处理任务和 ML 模型两个角度来分类图嵌入工作。此外,本文还总结了近来用于探索图嵌入的图组合优化方法。

file

file

推荐:本文还对该领域未来的研究方向进行了展望。


论文 3:Neural Representation Learning for Natural Language Processing

摘要:这是复旦大学计算机应用与技术博士生刘鹏飞的博士论文。本文工作围绕着以下问题展开:1)对于不同粒度的文本(词语、句子、句对),如何设计合理的结构,使得模型可以学习到适合最终任务的表示?深度学习的到来使得自然语言处理中的研究工作由原来的特征工程过渡到了现在的结构工程,而对于文本的表示学习,首先要解决的最基本问题就是寻找合适的归纳偏置 ,使得模型可以更好地对输入文本进行编码。而本文分别针对不同粒度的文本信号,进行相应的网络结构探索,希望找到更适合下游任务的结构偏置。2)如何进行针对性的迁移学习?有针对性地进行迁移是指我们要对迁移的知识 “按需分配”,这就要求我们学习的知识应该具备可迁移性,此外,我们还要对已有的知识进行可理解分析,从而可以分离我们真正需要的知识,最终实现知识的定向迁移。

file

file

推荐:刘鹏飞的导师之一为著名学者邱锡鹏。


论文 4:Self-supervised learning through the eyes of a child

摘要:在这篇论文中,研究者的目标是利用自监督深度学习技术和 SAYCam 数据集对上述问题进行初步探索。该数据集的规模和纵深可以帮助研究者训练一个大规模模型。他们选择使用自监督学习方法,可以避免儿童无法获得的额外监督信息。研究者用没有标签的原始视频训练自监督模型,希望能从中提取出有用的高级别视觉表征。然后,他们利用儿童环境中的常见物体类别来测试模型的区分能力,以此来评估模型学到的视觉表征,这里只使用线性 readout。

实验结果首次表明,使用通用的自监督学习方法,基于从儿童角度收集的自然视频学习到了强大的、高级别视觉表征。这些视觉表征可以支持:1)在复杂视觉分类任务中获得高准确率;2)对自然变换保持不变性;3)从少量的训练示例泛化至未见过的类别。

file

file
file

推荐:该研究对 SAYCam 数据集的创新性应用得到了一些研究者的肯定和赞赏。


论文 5:EagerPy: Writing Code That Works Natively with PyTorch, TensorFlow, JAX, and NumPy

摘要:在本文中,来自德国图宾根大学和图宾根伯恩斯坦计算神经科学中心的研究者将 eager execution 进行了扩展,提供了一个新的 Python 框架 EagerPy,它可以编写自动且原生地适配 PyTorch、TensorFlow、Jax 和 Numpy 的代码。EagerPy 对库开发者和用户都有裨益。EagerPy 能够编写与框架无关(framework-agnostic)的代码,这些代码可以与 PyTorch、TensorFlow、Jax 和 NumPy 实现原生地适配。

首先对于新库开发者而言,他们不仅可以选择同时支持上述这几个主流深度学习框架或者为每个框架重新实现库,而且可以对代码重复进行处理。其次对于这些库的使用者而言,他们也可以更轻松地切换深度学习框架,并且不会被特定的第三方库锁定。

file

推荐:EagerPy 对库开发者和用户都有裨益。


ArXiv Weekly Radiostation

机器之心联合由楚航、罗若天发起的ArXiv Weekly Radiostation,在 7 Papers 的基础上,精选本周更多重要论文,包括CV领域10篇精选,详情如下:

本周 10 篇 CV 精选论文是:

1. Seeing wake words: Audio-visual Keyword Spotting.  (from Andrew Zisserman)

2. Inducing Predictive Uncertainty Estimation for Face Recognition.  (from Andrew Zisserman)

3. Perceiving Humans: from Monocular 3D Localization to Social Distancing.  (from Sven Kreiss)

4. A Review of Single-Source Deep Unsupervised Visual Domain Adaptation.  (from Alberto L. Sangiovanni-Vincentelli, Sanjit A. Seshia, Kurt Keutzer)

5. All About Knowledge Graphs for Actions.  (from Larry S. Davis)

6. Active Deep Densely Connected Convolutional Network for Hyperspectral Image Classification.  (from Bing Liu)

7. A Scene-Agnostic Framework with Adversarial Training for Abnormal Event Detection in Video.  (from Mubarak Shah)

8. Ref-NMS: Breaking Proposal Bottlenecks in Two-Stage Referring Expression Grounding.  (from Wei Liu, Shih-Fu Chang)

9. Long-Term Anticipation of Activities with Cycle Consistency.  (from Bernt Schiele)

10. Continual Prototype Evolution: Learning Online from Non-Stationary Data Streams.  (from Tinne Tuytelaars)

微信公众号: 极市平台(ID: extrememart )
每天推送最新CV干货