论文速递 | 谷歌量子霸权论文;北大剪枝新方法;微软开源工具 InterpretML

目录:
1、Gate Decorator: Global Filter Pruning Method for Accelerating Deep Convolutional Neural Networks
2、InterpretML: A Unified Framework for Machine Learning Interpretability
3、Deep Learning For Symbolic Mathematics
4、Quantum Supremacy Using a Programmable Superconducting Processor


论文 1:Gate Decorator: Global Filter Pruning Method for Accelerating Deep Convolutional Neural Networks

作者:Zhonghui You、Kun Yan、Jinmian Ye、Meng Ma、Ping Wang
论文链接:https://arxiv.org/abs/1909.08174

摘要:对滤波器进行剪枝是一种最为有效的、用于加速和压缩卷积神经网络的方法。在这篇论文中,来自北大的研究者提出了一种全局滤波器剪枝的算法,名为「门装饰器(gate decorator)」。这一算法可以通过将输出和通道方向的尺度因子(门)相乘,进而改变标准的 CNN 模块。当这种尺度因子被设 0 的时候,就如同移除了对应的滤波器。研究人员使用了泰勒展开,用于估计因设定了尺度因子为 0 时对损失函数造成的影响,并用这种估计值来给全局滤波器的重要性进行打分排序。接着,研究者移除哪些不重要的滤波器。在剪枝后,研究人员将所有的尺度因子合并到原始的模块中,因此不需要引入特别的运算或架构。此外,为了提升剪枝的准确率,研究者还提出了一种迭代式的剪枝架构——Tick-Tock。

file

图 1:滤波器剪枝图示。第 i 个层有 4 个滤波器(通道)。如果移除其中一个,对应的特征映射就会消失,而输入 i+1 层的通道也会变为 3。

file

图 2:Tick-Tock 剪枝框架图示。

file

图 3:组剪枝展示。同样颜色的 GBN 属于同一组。

推荐:本文是北大和 Momenta 的一篇论文,借用 LSTM 的门控制思想对神经网络进行剪枝,是一种新颖的剪枝方法,读者朋友可借鉴。


论文 2:InterpretML: A Unified Framework for Machine Learning Interpretability

作者:Harsha Nori、Samuel Jenkins、Paul Koch、Rich Caruana
论文链接https://arxiv.org/abs/1909.09223v1

摘要:InterpretML 是一个为实践者和研究者提供机器学习可解释性算法的开源 Python 软件包。InterpretML 能提供以下两种类型的可解释性:(1)明箱(glassbox),这是针对可解释性设计的机器学习模型(比如线性模型、规则列表、广义相加模型);(2)黑箱(blackbox)可解释技术,用于解释已有的系统(比如部分依赖、LIME)。这个软件包可让实践者通过在一个统一的 API 下,借助内置的可扩展可视化平台,使用多种方法来轻松地比较可解释性算法。InterpretML 也包含了可解释 Boosting 机(Explanable Boosting Machine,EBM)的首个实现,这是一种强大的可解释明箱模型,可以做到与许多黑箱模型同等准确的性能。

file

软件架构和代码

推荐:本文是微软开源工具的论文,用于帮助人们使用科技史的模型进行机器学习。


论文 3:Deep Learning For Symbolic Mathematics

作者匿名
论文地址:https://openreview.net/forum?id=S1eZYeHFDS¬eId=S1eZYeHFDS

摘要:神经网络在解决统计或拟合问题时较计算和解决符号数据更为优秀。在本文中,研究者表明,神经网络在解决一些复杂的数学问题上表现很好,例如符号积分和解决微分方程。研究者提出了一种语法,可以表示这些数学问题,以及一种用于生成大数据集的方法,用于训练一个 seq2seq 模型。研究者提出的方法在表现上超过了商业代数计算软件的性能,如 Matlab 或 Mathematica。

推荐:神经网络强大的拟合能力使其在机器学习中占有一席之地。本文创新性地使用神经网络拟合数学问题,且计算速度很快。


论文 4:Quantum Supremacy Using a Programmable Superconducting Processor

作者:Eleanor G. Rieffel
论文地址:https://drive.google.com/file/d/19lv8p1fB47z1pEZVlfDXhop082Lc-kdD/view

摘要:量子计算机的诱人前景在于量子处理器上执行某项计算任务的速度要比经典处理器快指数倍,而根本性的挑战是构建一个能够在指数级规模的计算空间中运行量子算法的高保真度处理器。在这篇论文中,谷歌研究者使用具有可编程超导量子比特的处理器来创建 53 量子比特的量子态,占据了 2^53∼10^16 的状态空间。重复性实验得到的测量值对相应的概率分布进行采样,并利用经典模拟加以验证。

谷歌的量子处理器大约只需 200 秒即可对量子电路采样 100 万次,而当前最优的超级计算机完成同样的任务大约需要 1 万年。

file

图 1:Sycamore 量子处理器。a. 该处理器的布局,有 54 个量子比特,每个量子比特用耦合器(蓝色)与四个最近的量子比特相连;b. Sycamore 芯片的光学图像。

推荐:本文昭示着量子计算领域的进一步发展,为量子计算的实际应用奠定了研究基础。论文依旧是谷歌相关团队,足见其科研实力强大。


参与:一鸣、杜伟
来源:机器之心@微信公众号


推荐阅读:
机器学习技术路线图
80 页笔记看遍机器学习基本概念、算法、模型,帮新手少走弯路

file
△ 关注极市平台
获得最新CV干货

微信公众号: 极市平台(ID: extrememart )
每天推送最新CV干货