• 问答
  • 技术
  • 实践
  • 资源
时至今日,深度学习领域有哪些值得追踪的前沿研究?精选
技术讨论
来源 | 知乎


回答一:

其实自从2018年三大佬靠深度学习拿了图灵奖之后,基本宣告深度学习容易解决的问题做的差不多了,这两年这个领域没有太大的突破,因为剩下的问题都是硬核问题,想要比较好的解决很困难,这个可以从这几年的顶会NeurIPS, ICML和 ICLR 可以看出来。我大体列一下自己认为值得 follow 的几个大方向。

  1. 深入反思和理解深度学习的行为: Understanding deep learning, 包括理论和完整的实验分析。比如深度学习获得泛化能力的来源:数据、模型和训练算法技巧的分析;还有深度学习学到的特征表示究竟是什么,宽度、深度、跳连等究竟在 representation learning 上所起的作用;深度学习稳健性,包括对噪声变化、对结构变化、对对抗样本的稳健性;从不同视角建模深度学习等。
  2. 新模型的构建方面,主要目的是希望深度学习满足某种性质或要求,比如可解释性强、可信能力强的模型的构建;比如具有因果推断能力的模型,这其实是个很重要的方向,深度学习很大的成功在于模式识别和函数拟合,其他能力很弱;比如小容量计算友好的模型等。
  3. 新的数据场景或数据结构中的深度学习模型,比如semi-supervised, self-supervised或大家也称unsupervised, transfer learning ,meta-learning等。因为已有的深度学习的成功展现在大数据的有监督上,目前关于这些挑战场景上的理解还很少,虽然大家一顿猛发文章,本质是什么尚不清晰,尤其是背后的设计模型的核心 principle 是什么还是很模糊的。新的数据结构下的问题,典型代表是graph,大型 table及结构化的数据上。
  4. Learning-enhanced algorithms,我自己起的名字,主要指如何利用数据驱动的方式,尤其是深度学习强大表达能力和灵活性,来解决一些传统算法的瓶颈问题,比如如何用learning的思路来解决一些组合问题中的搜索策略;如何从解决多个问题中总结数据或者问题的经验,来拓展到解决类似问题上。
  5. 对应用友好的模型和算法,尤其是精细场景以及实际落地应用中。毕竟深度学习的很多问题是应用驱动的,如何更好的解决实际应用问题也极其关键。这里涉及很多,比如模型动态更新(包括类别,数据的分布变化,数据的异质,多模态等),快速部署(衍生很多加速算法等),便捷部署(衍生 automl),可视化,模块化等。
  6. 还有一个是和硬件结合的方向,这个也很重要,自己不是很懂。
    当然随着逐渐发展,还有不同新的有意思的新方向、新应用出现。 不过最终深度学习这个框架和方法最终会像最小二乘法一样,被广泛应用,成为标准工具,但会不断的有新的东西能挖出来。

回答二:

深度学习的解耦(Disentanglement,或者叫解纠缠)表示

推荐一些论文及资料:

  1. Probing Brain Activation Patterns by Dissociating Semantics and Syntax in Sentences, AAAI 2020
  2. Challenging Common Assumptions in the Unsupervised Learning of Disentangled Representations, ICML 2019
  3. Diverse Image-to-Image Translation via Disentangled Representations, ECCV 2018
  4. 大象:VAE系解纠缠:从VAE到βVAE,再到β-TCVAE

回答三:

斗胆投一下 semi-supervised learning \& data augmentation. 毕竟有 Google 和辣个蓝人 (Quoc) 坐镇 lol,但看好不等于觉得它可以很快落地(雾...

最近两年,Google Research 出了一系列 semi-supervised learning 的工作(本质上也是探索了 Data augmentation 对 DNN 模型训练的正面影响),如:

Unsupervised Data Augmentation for Consistency Training​arxiv.org

https://arxiv.org/pdf/2001.07685.pdf​arxiv.org

https://arxiv.org/pdf/1905.02249.pdf​arxiv.org

此外,Data Augmentation 的 paper 也有著名的:

AutoAugment: Learning Augmentation Policies from Data​arxiv.org

SpecAugment: A Simple Data Augmentation Method for Automatic Speech Recognition​arxiv.org

上面只列出了 Google 在改问题上部分代表性的 paper. 希望有更多的小伙伴关注 Deep Learning 在 semi-supervised learning 和 data augmentation 中的应用.


相关推荐:

深度学习模型压缩与加速
深度学习之 Pytorch 基础教程!
深度学习中的那些 Trade-off

  • 1
  • 1
  • 1884
收藏
暂无评论