论文推荐 | 南加大 88 毫克爬虫机器人;谷歌探索有限与无限神经网络(7 篇)

文章来源:机器之心

参与:**杜伟、楚航、罗若天**


本周值得关注的论文有南加大开发的 88 毫克爬虫机器人,以及谷歌大脑团队对有限与无限神经网络的探索。

目录:

1. Finite Versus Infinite Neural Networks: an Empirical Study

2. A Survey of Learning Causality with Data: Problems and Methods

3. Spatially Adaptive Inference with Stochastic Feature Sampling and Interpolation 

4. Motion Capture from Internet Videos

5. An 88-milligram insect-scale autonomous crawling robot driven by a catalytic artificial muscle

6. Survey of Data Management Techniques for Supporting Artificial Intelligence

7. An Image Enhancing Pattern-based Sparsity for Real-time Inference on Mobile Devices

8. ArXiv Weekly Radiostation:CV更多精选论文


论文 1:Finite Versus Infinite Neural Networks: an Empirical Study

摘要:近日,谷歌大脑的研究者通过大规模实证研究探讨了宽神经网络与核(kernel)方法之间的对应关系。在此过程中,研究者解决了一系列与无限宽度神经网络研究相关的问题,并总结得到了 12 项实验结果。

此外,实验还额外为权重衰减找到了一种改进版逐层扩展方法,可以提升有限宽度网络的泛化能力。

最后,他们还为使用 NNGP(神经网络高斯过程)和 NT(神经正切)核的预测任务找到了一种改进版的最佳实践,其中包括一种全新的集成(ensembling)技术。这些最佳实践技术让实验中每种架构对应的核在 CIFAR-10 分类任务上均取得了当前最佳的成绩。
file

推荐:该文作者之一 Jascha Sohl-Dickstein 表示:「这篇论文包含你想知道的但没有足够的计算能力探求的有关无限宽度网络的一切!」


论文 2:A Survey of Learning Causality with Data: Problems and Methods

摘要:在这篇论文中,亚利桑那州立大学和弗吉尼亚大学的研究者考虑了这样一个问题:访问大量数据的便利程度如何影响我们学习因果效应和关系的能力?

此外,在大数据时代,学习因果关系(causality)与传统因果关系又有哪些异同之处呢?为了回答这些问题,研究者对因果关系与机器学习之间的关联展开了全面和结构化的回顾性综述

file

学习因果效应、因果关系以及与机器学习的关联。
file

推荐:论文一作郭若城(Ruocheng Guo)为亚利桑那州立大学在读博士生。


论文 3:Spatially Adaptive Inference with Stochastic Feature Sampling and Interpolation

摘要:近年来,随着深度学习的不断发展,视觉领域出现了越来越多的高精度模型,但这些模型所需的计算量也越来越大。因此,如何在推理阶段避免冗余的计算在近年来成为研究热点。为了解决这一问题,研究者提出了一系列相关算法,如模型剪枝(Model Pruning)、模型量化(Model Quantization)、提前终止(Early Stopping)和利用特征响应稀疏性(Activation Sparsity)等方法。

在本文中,来自微软亚洲研究院视觉计算组、清华大学以及中国科学技术大学的研究者们提出了一种利用图像的空间冗余特性来节省计算量的新范式——利用随机采样与插值来进行动态推理

在实验部分,研究者在物体检测(COCO2017)与语义分割(Cityscapes)两种任务上验证了该方法的有效性。

file

file

推荐:本文被收录为 ECCV 2020 Oral 论文。

<br>  

论文 4:Motion Capture from Internet Videos

摘要:在本文中,来自浙大的研究者取代了基于单个视频的分析方法,而提出通过共同分析网络视频来捕获人体运动。但是,由于视频非同步化、摄像头视角未知、背景场景相异以及视频中人体运动并不是完全相同,所以这一新的任务又带来了现有方法无法解决的新问题。

为了解决这些问题,研究者提出了一种新颖的基于优化的框架,通过实验,研究者发现与单目运动捕获方法相比,这种框架能够从多个视频中恢复更精确和更详细的运动轨迹。

file

file
file

推荐:论文共同一作 Junting Dong 为浙江大学二年级博士生。


论文 5:An 88-milligram insect-scale autonomous crawling robot driven by a catalytic artificial muscle

摘要:在最新一期的《Science》机器人子刊中,来自南加州大学的研究者向公众介绍了这款名为「RoBeetle」的爬虫机器人。他们设计了可以像真实物体一般收缩和放松的微型人造肌肉,并且使用覆盖有铂粉的镍钛合金线加快甲醇蒸汽的燃烧。这一过程产生的热量会导致机器人腿部的电线缩短,待冷却后重新伸展,以此驱动 RoBeetle 的运动。

RoBeetle 重量仅有 88 毫克,能够拖运自身重量 2.6 倍的物体。它可以额外携带 95 毫克的燃料,续航时间长达 2 个小时。RoBeetle 拥有爬坡技能,并且可以在不同纹理的表面行进,包括玻璃、泡沫睡垫、混凝土人行道。

在未来的研究中,研究者需要进一步探索如何实现机器人的燃料添加功能,从而在更长的时间内持续供能。此外,如果能够对 RoBeetle 进行编程并实现与操作者通信,那么这款机器人还能用于人工授粉或协助手术等更多场景。

file

file

推荐:本文登上了 Science 机器人子刊封面。


论文 6:Survey of Data Management Techniques for Supporting Artificial Intelligence

摘要:人工智能技术因其强大的学习和泛化能力已经被广泛应用到各种真实场景中。然而,现有人工智能技术还面临着三大挑战。第一,现有 AI 技术使用门槛高,依赖于 AI 从业者选择合适模型、设计合理参数、编写程序, 因此很难被广泛应用到非计算机领域;第二,现有 AI 算法训练效率低,造成了大量计算资源浪费,甚至延误决策时机;第三、现有 AI 技术强依赖高质量数据,如果数据质量较低,可能造成计算结果的错误。数据库技术可以有效解决这三个难题,因此目前面向 AI 的数据管理得到了广泛关注。

本文首先给出 AI 中数据管理的整体框架,然后详细综述基于声明式语言模型的 AI 系统、面向 AI 优化的计算引擎、执行引擎和面向 AI 的数据治理引擎四个方面。最后展望未来的研究方向和挑战。

file

四种不同类型的数据管理技术。

推荐:本文两位作者来自清华大学计算机系。


论文 7:An Image Enhancing Pattern-based Sparsity for Real-time Inference on Mobile Devices

摘要:基于模式化稀疏度的剪枝方法能够使深度神经网络在图像识别任务中「看得」更清楚,同时减小了模型尺寸,使模型在移动端「跑得」更快,实现实时推理。

由美国东北大学王言治教授研究团队与美国威廉玛丽学院任彬教授研究团队共同提出,IBM、清华等共同研究的模式化稀疏度感知训练框架,不仅能够同时实现卷积核稀疏模式的全自动提取、模式化稀疏度的自动选择与模型训练,还证明了所提取的模式化稀疏度与理论最佳模式化稀疏度相匹配,并进一步设计了能够利用模型特点实现编译器优化的移动端推理框架,实现了大规模深度神经网络在手机移动端上的实时推理。

file

推荐:这篇文章已被 ECCV 2020 会议收录,该文章同时入选 ECCV 2020 demonstration track。

ArXiv Weekly Radiostation

机器之心联合由楚航、罗若天发起的ArXiv Weekly Radiostation,在 7 Papers 的基础上,精选本周更多重要论文,包括CV领域10篇精选,详情如下:


本周 10 篇 CV 精选论文是:

1. TNT: Target-driveN Trajectory Prediction.  (from Cordelia Schmid, Dragomir Anguelov)

2. Pix2Surf: Learning Parametric 3D Surface Models of Objects from Images.  (from Niloy Mitra, Leonidas J. Guibas)

3. DeepGMR: Learning Latent Gaussian Mixture Models for Registration.  (from Dieter Fox, Jan Kautz)

4. Simultaneous Detection and Tracking with Motion Modelling for Multiple Object Tracking.  (from Mubarak Shah)

5. Every Pixel Matters: Center-aware Feature Alignment for Domain Adaptive Object Detector.  (from Ming-Hsuan Yang)

6. SoDA: Multi-Object Tracking with Soft Data Association.  (from Tsung-Yi Lin, Ming-Hsuan Yang)

7. Attribute Prototype Network for Zero-Shot Learning.  (from Bernt Schiele)

8. A review of deep learning in medical imaging: Image traits, technology trends, case studies with progress highlights, and future promises.  (from Hayit Greenspan, Christos Davatzikos, James S. Duncan, Bram van Ginneken, Anant Madabhushi, Jerry L. Prince, Ronald M. Summers)

9. Monocular Expressive Body Regression through Body-Driven Attention.  (from Michael J. Black)

10. AutoSimulate: (Quickly) Learning Synthetic Data Generation.  (from Philip H.S. Torr)

微信公众号: 极市平台(ID: extrememart )
每天推送最新CV干货