Point Transformer

技术讨论 kira ⋅ 于 2周前 ⋅ 370 阅读
来源:点云时空 泡泡机器人SLAM标题:Point Transformer作者:Zhao, Hengshuang, et al.来源:arxiv 2020


摘要

自注意力网络彻底改变了自然语言处理,并且在图像分析任务(例如图像分类和目标检测)方面取得了令人瞩目的进步。受此启发,我们研究了自注意力网络在3D点云处理中的应用。我们为点云设计了自注意层,并使用它们构建用于语义场景分割、语义分割和分类等任务的自注意网络。我们的Point Transformer设计在多领域和多任务超越了之前的相关工作。例如,在具有挑战性的大规模语义场景分割的S3DIS数据集上,Point Transformer在 Area5上的 mIoU 达到70.4%,比最强模型高3.3个绝对百分点,并且首次超过70% mIoU 阈值。

主要贡献

  • 本文提出适合点云处理的自注意力层,组成 Point Transformer 网络,更适合用于点云处理任务。

  • 在多个基准数据集上超越之前的方法

方法概述

Point Transformer 层

对点云中每一个点对应的特征xi,计算其与近邻点特征集合 Xi 的向量自注意力特征yi:

file

其中 φ、ψ、α、γ 均为 MLP;⊙为向量点乘;ẟ 为两个点相对位置 pi、pj 的编码( θ 同样也是一个 MLP ):

file

公式(3)同样可以表示为下图2:
file


Point Transformer 模块

下图4展示由 Point Transformer 层和线性投影以及下采样(farthest point sampl.)和上采样 (interpolation) 组成的三种不同的 Point Transformer 模块,分别对应特征尺度不变、向下过度(transition down)和向上过度 (transition up):

file

Point Transformer 网络

下图3显示 Point Transformer 语义分割网络(上半部分)和分类网络 (下半部分)的结构:

file

实验结果

下表1、2、3、4显示 Point Transformer 在S3DIS 、ShapeNetPart 语义分割数据集和 ModelNet40 点云分类数据集上均超越了使用 PointNet、图卷积网络、变形卷积等技术的 SOTA 方法:

file

下图5、6、7显示 Point Transformer 的预测样图:
file

摘要

  • 自注意层不要求规则排列的输入数据,并且拥有置换等变的特性,相比于卷积更适合高效处理点云数据。

  • 与此同时,通过使用相对位置编码,理论上自注意力层平移等变性。

Abstract

Self-attention networks have revolutionized natural language processing and are making impressive strides in image analysis tasks such as image classification and object detection. Inspired by this success, we investigate the application of self-attention networks to 3D point cloud processing. We design self-attention layers for point clouds and use these to construct self-attention networks for tasks such as semantic scene segmentation, object part segmentation, and object classification. Our Point Transformer design improves upon prior work across domains and tasks. For example, on the challenging S3DIS dataset for large-scale semantic scene segmentation, the Point Transformer attains an mIoU of 70.4% on Area 5, outperforming the strongest prior model by 3.3 absolute percentage points and crossing the 70% mIoU threshold for the first time.


相关推荐:
Transformer资料合集

成为第一个点赞的人吧 :bowtie:
回复数量: 0
暂无回复~
您需要登陆以后才能留下评论!