论文推荐 | Quoc V. Le、何恺明等新论文;可扩展集合技术 XGBoost

本周较为重要的研究有 :Quoc V. Le 和何恺明各自在 ImageNet 上的新研究以及在解决机器学习难题方面是可靠和有效的、基于梯度提升可扩展集合技术 XGBoost

目录:

1、Self-training with Noisy Student improves ImageNet classification

2、A Comparative Analysis of XGBoost

3、Momentum Contrast for Unsupervised Visual Representation Learning

4、Deep Learning for Stock Selection Based on High Frequency Price-Volume Data



论文 1:Self-training with Noisy Student improves ImageNet classification

摘要:在本文中,研究者首先在标注的 ImageNet 图像上训练了一个 EfficientNet 模型,然后用这个模型作为老师在 3 亿无标签图像上生成伪标签。然后研究者训练了一个更大的 EfficientNet 作为学生模型,使用的数据则是正确标注图像和伪标注图像的混合数据。这一过程不断迭代,每个新的学生模型作为下一轮的老师模型,在生成伪标签的过程中,教师模型不会被噪声干扰,所以生成的伪标注会尽可能逼真。但是在学生模型训练的过程中,研究者对数据加入了噪声,使用了诸如数据增强、dropout、随机深度等方法,使得学生模型在从伪标签训练的过程中更加艰难。这一自训练模型,能够在 ImageNet 上达到 87.4% 的 top-1 精确度,这一结果比当前的 SOTA 模型表现提高了一个点。除此之外,该模型在 ImageNet 鲁棒性测试集上有更好的效果,它相比之前的 SOTA 模型能应对更多特殊情况。

file
▲表 1:Noisy Student 方法和之前 SOTA 模型指标的对比结果。

file
▲表 2:Noisy Student 与之前 SOTA 模型在 ImageNet 上的 Top-1 与 Top-5 准确率,带有 Noisy Student 的 EfficientNet 能在准确率与模型大小上取得更好的权衡。

推荐:ImageNet 上的图像分类模型似乎已经成熟,要达到新的 SOTA 已经非常难。但是,Quoc Le 等在本文中提出的 Noisy Student 方法在这一数据集上再次提高了 SOTA 性能一个点,而且这一方法让模型在鲁棒性上也有很大的提升。



论文 2:A Comparative Analysis of XGBoost

摘要:XGBoost 是一项基于梯度提升可扩展集合技术,在解决机器学习难题方面是可靠和有效的。在本文中,研究者对这项新颖的技术如何在训练速度、泛化性能和参数设置方面发挥作用进行了实证分析。此外,通过精心调整模型和默认设置,研究者还对 XGBoost、随机森林和梯度提升展开了综合比较。结果表明,XGBoost 在所有情况下并不总是最佳选择。最后,他们还对 XGBoost 的参数调整过程进行了扩展分析。

file
▲图 1:随机森林、梯度提升和 XGBoost 的正常网格搜索中的默认值以及每个参数的可能值。

file
▲表 2:默认和参数调整设置下随机森林、梯度提升和 XGBoost 的平均准确度和标准偏差。

推荐:通过对随机森林、梯度提升和 XGBoost 的综合比较,来自法国波尔多大学、匈牙利帕兹曼尼·彼得天主教大学以及马德里自治大学的三位研究者得出结论:从调查问题的数量看,梯度提升是最好的分类器,但默认参数设置下 XGBoost 和随机森林在平均排名(average rank)方面的差异不具备统计显著性。



论文 3:Momentum Contrast for Unsupervised Visual Representation Learning

摘要:在无监督的视觉表征学习上,近来的一些研究通过使用对比损失(constrative loss)的方法取得了不错的效果。这些方法都可以被认为和动态词典(dynamic dictionary)相关。在词典中,键(token)是通过从数据(如图像等)中进行采样得到的,然后使用一个编码器网络转换为表征。无监督学习则训练编码器,用于词典的查找工作,即一个编码的「查询(query)」应该和与之匹配的键相似,与其他键不相似。这样的一个学习过程可以被构建为减少对比损失。在本次研究中,何恺明等研究者提出了一种名为动量对比(Momentum Contrast,简称 MoCo)的方法。这种方法旨在通过对比损失为无监督学习建立大型、一致的词典(如下图 1 所示)。研究者将词典维护为一个数据样本队列:当前 mini-batch 编码表征将进入队列,而最老的将退出队列。该队列将词典大小与 mini-batch 大小解耦,从而允许词典变大。此外,由于词典键来自前面的几个 mini-batch,因此研究者提出使用一个缓慢前进的键编码器,作为基于动量的查询编码器的移动平均值,以保持一致性。

file
▲图 1.MoCo 通过使用对比损失将一个已编码的查询 q 与一个已编码的键词典进行匹配来训练一个视觉表征编码器。词典键 {k0, k1, k2, ...} 是由一组数据样本动态定义的。

file
▲表 1:在 ImageNet 数据集上,MoCo 与其他方法在线性分类评价标准下的对比结果。

推荐:Facebook AI 研究团队的何恺明等人提出了一种名为动量对比(MoCo)的无监督训练方法。在 7 个与检测和分割相关的下游任务中,MoCo 可以超越在 ImageNet 上的监督学习结果,在某些情况下其表现甚至大大超越后者。作者在摘要中写道:「这表明,在许多视觉任务中,无监督和监督表征学习之间的差距已经在很大程度上被消除了。」


来源:机器之心@微信公众号


推荐阅读:
CVPR2017 论文:使用 VTransE 网络进行视觉关系检测
CVPR 2017 论文:基于网格的运动统计,用于快速、超鲁棒的特征匹配(附大神解读)
不要错过!MICCAI 2019 所有论文完整下载

file
△ 关注极市平台
获得最新CV干货

微信公众号: 极市平台(ID: extrememart )
每天推送最新CV干货