论文推荐 | 新超分辨率模型 SRFlow、缩小高性能计算和机器学习之间的差距的伯克利论文;

内容来源:机器之心
参与:杜伟、楚航、罗若天

本周的重要论文包括 UC 伯克利尤洋的博士论文以及 GPT 用于自动证明数学题的研究。


目录:

1. Generative Language Modeling for Automated Theorem Proving

2. Adversarial Machine Learning in Image Classification: A Survey Towards the Defender's Perspective

3.Fast and Accurate Machine Learning on Distributed Systems and Supercomputers

4. SRFlow: Learning the Super-Resolution Space with Normalizing Flow

5. From Vision to Text: A Brief Survey for Image Captioning

6. Amaran: An Unmanned Robotic Coconut Tree Climber and Harvester 

7. ArXiv Weekly Radiostation:CV


论文 1:Generative Language Modeling for Automated Theorem Proving

摘要:大名鼎鼎的 Transformer 架构不仅在 NLP 领域呼风唤雨,还能用于计算机视觉,比如目标检测。但仅仅这样就足够了吗?最近,OpenAI 研究者尝试用基于 Transformer 的语言模型做自动定理证明(ATP)!

这项研究使用基于 Transformer 的语言模型,为 Metamath 形式化语言提供了自动证明器和证明助理(proof assistant)GPT-f。GPT-f 能够发现新的简短证明,这些证明已被 Metamath 主库接收。研究者称这是深度学习系统提供的证明首次被形式数学社区采纳

file
GPT-f 证明助理的界面。

file
证明搜索树。

推荐:由 GPT-f 发现的 23 个简短证明已被 Metamath 主库接收。


论文 2:Adversarial Machine Learning in Image Classification: A Survey Towards the Defender's Perspective

摘要:这是一篇图像分类对抗机器学习方面的最新综述论文。

file

推荐:论文作者均来自巴西。


论文 3:Fast and Accurate Machine Learning on Distributed Systems and Supercomputers

作者:尤洋
论文链接:https://www2.eecs.berkeley.edu/Pubs/TechRpts/2020/EECS-2020-136.pdf

摘要:今年 7 月,尤洋从加州大学伯克利分校毕业,获得计算机科学博士学位。目前已入职新加坡国立大学计算机系任助理教授(终身制)。近日,他在社交媒体上介绍了自己的博士论文。这篇论文聚焦于快速且准确的机器学习训练。尽管生产团队希望能够充分利用超级计算机来加快训练过程,但传统的优化器无法扩展到数千个处理器。该研究设计了一系列基础优化算法,来为深度学习系统实现更强的并行度。这些算法为谷歌、英特尔、腾讯、英伟达等公司的 SOTA 分布式系统提供了支持。

file

尤洋及合作者提出了 LARS 优化器、LAMB 优化器以及 CA-SVM 框架,缩小了机器学习与分布式系统之间的差距。

推荐:这篇论文的重点是缩小高性能计算(HPC)和机器学习(ML)之间的差距。


论文 4:SRFlow: Learning the Super-Resolution Space with Normalizing Flow

摘要:超分辨率是一个不适定问题(ill-posed problem),它允许对给定的低分辨率图像做出多种预测。这一基础事实很大程度上被很多当前最优的深度学习方法所忽略,这些方法将重建和对抗损失结合起来,训练确定性映射(deterministic mapping)。

近日,来自苏黎世联邦理工学院计算机视觉实验室的研究者提出了一种新的超分辨率模型 SRFlow。该模型是一种基于归一化流的超分辨率方法,具备比 GAN 更强的脑补能力,能够基于低分辨率输入学习输出的条件分布

该研究展示了基于人脸图像以及其他超分辨率图像实验,结果表明 SRFlow 在 PSNR 和感知质量度量上都优于当前最优的 GAN 方法,同时 SRFlow 允许探索超分辨率解空间,以实现生成图像的多样性。

file
基于 GAN 的 ProgFSR 与基于归一化流的 SRFlow 的对比结果。

file

SRFlow 的架构示意图。

推荐:该论文已被 ECCV 2020 收录。


论文 5:From Vision to Text: A Brief Survey for Image Captioning

摘要:近年来,跨模态研究吸引了越来越多学者的关注,尤其是连接视觉和语言的相关课题。来自复旦大学的几位研究者针对跨视觉和语言模态研究中的核心任务——图像描述生成,进行文献综述。该文从基于视觉的文本生成框架、基于视觉的文本生成研究中的关键问题、图像描述生成模型的性能评价和图像描述生成模型的主要发展过程四个方面对相关文献进行介绍和总结。

file

file

推荐:该文给出了几个未来的重点研究方向,包括跨视觉和语言模态的特征对齐、自动化评价指标的设计以及多样化图像描述生成。


论文 6:Amaran: An Unmanned Robotic Coconut Tree Climber and Harvester

摘要:近日,《IEEE/ASME Transactions on Mechatronics》刊登了一篇描述爬树机器人的论文。论文作者设计了一款名为 Amaran 的爬树机器人,它可以代替人类采摘员爬上高达十几米的椰子树采摘椰子。

在实验室测试过程中,Megalingam 及其同事发现,当树干与垂直轴的倾角达到 30 度时,Amaran 能够顺利爬上椰子树。在一些特定环境条件下,很多椰子树都是以这样的倾角生长,由此为这款机器人提供了丰富的实际操作场景。

file

file

推荐:这个机器人或许可以「解放」人类爬树摘椰子的苦力。


ArXiv Weekly Radiostation

机器之心联合由楚航、罗若天发起的ArXiv Weekly Radiostation,在 7 Papers 的基础上,精选本周更多重要论文,包括CV领域10篇精选,详情如下:


本周 10 篇 CV 精选论文是:

1. ePointDA: An End-to-End Simulation-to-Real Domain Adaptation Framework for LiDAR Point Cloud Segmentation.  (from Yang Gao, Trevor Darrell, Kurt Keutzer)

2. Semi-supervised Medical Image Segmentation through Dual-task Consistency.  (from Yinan Chen)

3. Few-Shot Hyperspectral Image Classification With Unknown Classes Using Multitask Deep Learning.  (from Liangpei Zhang)

4. Region Comparison Network for Interpretable Few-shot Image Classification.  (from Jiebo Luo)

5. Towards Unique and Informative Captioning of Images.  (from Olga Russakovsky)

6. Binarized Neural Architecture Search for Efficient Object Recognition.  (from Li'an Zhuo, David Doermann)

7. LaSOT: A High-quality Large-scale Single Object Tracking Benchmark.  (from Haibin Ling)

8. Attribute Adaptive Margin Softmax Loss using Privileged Information.  (from Nasser M. Nasrabadi)

9. Interactive Visual Study of Multiple Attributes Learning Model of X-Ray Scattering Images.  (from Wei Xu)

10. Real-Time Selfie Video Stabilization.  (from Ravi Ramamoorthi)

微信公众号: 极市平台(ID: extrememart )
每天推送最新CV干货