• 问答
  • 技术
  • 实践
  • 资源
关于车道线检测方法的论文汇总解读
论文速递
来源:计算机视觉工坊 作者 | 黄浴 黑芝麻智能自动驾驶技术研究副总裁zhihu


本文选取了最近发表的车道线检测论文,都是基于深度学习方法,但考虑的角度有所不同:检测、分割和后处理等。

1. “Ultra Fast Structure-aware Deep Lane Detection,arXiv 2004.11757,4,2020

车道线检测任务看成是基于全局图像特征的行选择(row selection)分类问题。其中提出一个structural loss 明确建模结构信息,速度很快,300+ FPS。

代码上线:https://github.com/cfzd/Ultra-Fast-Lane-Detection.

如图显示如何选择行的问题:在每个row anchor水平选择。

设X是全局图像特征,f是分类器选择一行的车道线位置,即车道线预测定义为:

设T是位置的one-hot编码,则分类器的优化形式是:LCE是cross entropy loss

下图显示分割和行选择的区别:这种方法依赖的是整个图像的感受野,远远大于分割网络的有限感受野。

除了分类损失项,还有对location的建模。文中如此定义lane structural loss:它包括相似性和形状(直线)的两个loss函数项

其中

关于lane location

不过argmax操作是不能微分的,故此计算改成计算概率

这样lane location变成可微分的操作

最终的损失函数为:

整个模型架构如图所示:包括feature extractor,classification-based prediction和auxiliary segmentation task(只在训练时,聚合局部特征和全局上下文信息)等,group classification在row anchor执行。

实验结果如下:直观例子

2 “PolyLaneNet: Lane Estimation via Deep Polynomial Regression“,arXiv 2004.10924,4,2020

PolyLaneNet,采用deep polynomial regression,速度达到115FPS。

代码 上线:•https://github.com/lucastabelini/PolyLaneNet

如图是其架构概览:

实验结果比较如下:

该方法的直观结果:

3 “End-to-End Lane Marker Detection via Row-wise Classification“,arXiv 2005.08630,5,2020

传统方法采取pixel prediction加post processing,而该方法是一种端到端的方式做direct lane marker vertex prediction,无需后处理。作者设计一种新的NN层,逐渐压缩水平组件,叫horizontal reduction modules (HRMs)。它实现端到端检测,其中位置基于argmax得到。这个模型叫E2E-LMD,直接预测lane marker vertex。如图是其框架显示:

E2E-LMD的架构图如下:

其加入连续horizontal reduction modules扩展普通的encoder-decoder architectures。第一步:构建编码器-解码器;第二步:逐渐压缩HRM的水平维度,无需改变垂直维度。最后一步:两个分支row-wise vertex location branch和vertex wise confidence branch,分类和置信度回归。

为提高检测性能,采用了Squeeze and Excitation (SE) block,实现注意机制。如图是加入SE前后的检测变化:

实验结果比较如下:

这是基于ERFNet主干网的定性检测结果:

4. “CurveLane-NAS: Unifying Lane-Sensitive Architecture Search and Adaptive Point Blending“, arXiv 2007.12147,7,2020

华为论文,curve lanes检测很难,缺乏建模的长时上下文信息和带细节的弯曲轨迹。提出一个lane-sensitive architecture search framework,CurveLane-NAS,自动获取长时和短时曲线信息。包括三个部分:a) feature fusion search module,对multi-level hierarchy features找到较好的local and global context 融合 ; b) 弹性的backbone search module,开发带语义和潜力的 feature extractor; c) adaptive point blending module,搜一个multi-level post processing renfiement strategy,以此组合multi-scale head prediction。

华为的开源车道线数据集CurveLanes:大约150K images,90\% 是弯曲车道线 (大概 135K images),相比来说CULane Dataset (大约2.6K images) 和TuSimple Dataset ( 大约3.9K images),如图是一些比较例子。

之前的PointLaneNet 和Line-CNN这两个方法,还是按照 proposal-based diagram 产生多个point anchor 或者 line proposals。CurveLane-NAS提出一个包括multi-level prediction heads 和 a multi-level feature fusion的搜索空间,包含了long-ranged coherent lane 信息和short-range curve 信息。

如图检测算法比较:(a) dense prediction based (SCNN), (b) proposal based (Line-CNN), (c) CurveLane-NAS。

NAS是网络结构参数的自动调优。先定义搜索空间,然后通过搜索策略找出网络结构,并进行评估,再以此反馈进行下一个迭代的搜索。搜索策略有基于强化学习的方法、基于进化算法的方法和基于梯度的方法等。基于进化算法,CurveLane-NAS设计了一个搜索空间和一个基于样本的多目标搜索算法,来检测曲线车道。

下图是NAS做车道线检测的流水线架构:前面提到的三个模块

如图示意Point Blending Search模块(取代NMS):对每个预测头,预测每格的offsets和相应的scores。每个lane prediction 可以被offset和point anchors位置来恢复。

Adaptive score masking 允许在 multi-level prediction存在多个ROI。point blending 技术可以用准确的局部点取代一些高置信度anchor的预测点。而远端更细的curve shape则用local points修复。

实验结果比较如下:

直观比较图:

5. “Heatmap-based Vanishing Point boosts Lane Detection“,arXiv 2007.15602,7,2020

利用几何结构信息,vanishing point,提出一个多任务融合框架,基于ERFNet,图像分割模型,heatmap regression预测车道线的消失点VP。其示意图如下所示:

实验结果比较如下:

6. “LDNet: End-to-End Lane Detection Approach using a Dynamic Vision Sensor”,arXiv 2009.08020,9, 2020

车道线检测的挑战:光照变化、太阳强光、运动模糊等等。这里采用事件摄像头(event camera)的动态视觉传感器,提出Lane Detection using dynamic vision sensor (LDNet)。

如图看普通摄像头和事件摄像头的区别:

下图是LDNet的架构:

其中采用的空洞SPP:

还有Attention模块结构:

下表给出实验结果比较:

7. “RONELD: Robust Neural Network Output Enhancement for Active Lane Detection“,arXiv 2010.09548, 11, 2020

主动车道(active lane)划定单个道路的空间。检测的挑战来自外界的光照和车道自身单调表观。本文提出的方法实际上是一种增强方法,即real-time robust neural network output enhancement for active lane detection (RONELD)。其利用深度学习模型得到的概率图,包括以下模块:自适应车道点检测、弯曲车道检测、车道重建和跟踪等,如图所示。注:这里采用了两个模型SCNN和ENet-SAD做实验。

这里是一些增强结果的比较:两个数据集测试

8. “Keep your Eyes on the Lane: Real-time Attention-guided Lane Detection“,arXiv 2010.12035,11,2020

LaneATT,和Line-CNN一样的,基于锚点的车道线检测方法,类似YOLO3和SSD。除了局部信息,也强调全局信息,比如遮挡、缺失或者弱显示等情况下的处理。该方法实时性强 (速度250FPS),在三个基准数据集测试过:TuSimple, CULane 和 LLAMAS。

其架构如图:除了锚点的特征池化(类似Fast R-CNN),还有attention机制的采用。

如下是结果比较:

9. “End-to-end Lane Shape Prediction with Transformers“,arXiv 2011.04233, 11,2020

无所不在的Transformers,很善于学习全局上下文,针对车道线这种细长结构,直接估计车道线形状模型,即lane shape model。

代码上线:liuruijin17/LSTR

用cubic curve定义平坦路面的车道线

那么曲线投影到图像平面变成:(假设光轴和路面平行)

如果摄像头斜着不与路面平行,则:

修正的曲线方程变成:

Hungarian fitting loss 在预测参数和真值车道线做bipartite matching,找到positives和negatives,很有效。

如图所示是主干架构:包括一个reduced transformer network, 几个feed-forward networks (FFNs) 做parameter predictions, 和Hungarian Loss。

给定输入图像I, 主干提取low-resolution feature,并扁平成 序列S;S和positional embedding Ep 输入编码器,输出表示序列Se;然后解码器产生输出序列Sd,其中输入查询序列 Sq 和一个学习的positional embedding ELL,然后计算其与Se、Ep的交互,得到特征;最后多个FFNs 直接预测输出参数。

如图是编码器和解码器结构:

实验结果比较如下表:

下图是TuSimple数据集的比较:

下面是在FVL数据集的transfer结果:没有额外训练

10. “End-to-End Deep Learning of Lane Detection and Path Prediction for Real-Time Autonomous Driving”,arXiv 2102.04738,2,2021

提出three-task convolutional neural network (3TCNN),包括一个bounding box的regression分支、一个Hu moments的regression分支和一个classification分支。其中Hu moments回归能做车道线定位和道路引导。另外,本文特别点是一个lateral offset-path prediction (PP)模块,能够预测驾驶道路,包括车道中心线动态估计和道路曲率估计。

如图是其实现在TORCS的结构:

3TCNN的模型架构如下:

实验结果比较3TCNN和2TCNN(没有Hu moments分支)如下:

而3TCNN-PP集成的结果在TORCS的模拟环境测试性能如下:

11 “Robust Lane Detection via Expanded Self Attention“,arXiv 2102.07037,2,2021

本文是采用self attention机制,可用于编码器-解码器结构的NN模型,主要就是提取全局信息,在三个基准数据测试TuSimple、CULane和BDD100K。其利用车道线的简单结构,预测车道线在图像沿着水平和垂直方向的可信度,分为HESA (Horizontal Expanded Self Attention) 和 (Vertical Expanded Self Attention)。该方法类似SAD,但提出了基于confidence的遮挡解决方法。

ESA结构如下:编码器和HESA/VESA

ESA编码器-解码器的NN模型结构如下:

一些实验结果比较如下:三个测试数据集



相关推荐
【资源】车道线检测最全资料集锦

  • 0
  • 0
  • 525
收藏
暂无评论