最近发表的话题
最近发表的评论
  • 深入探讨神经网络宽度对深度学习模型性能的影响|文末送书 at 3周前

    深度学习感悟,今年来深度学习在CV、NLP等等领域都得到了极大应用研究。深度学习作为机器学习方法的一类,通过构建众多参数、线性函数组合、非线性激活函数表达的神经元连接形式,实现深层次的网络化模型,通过构建代价函数(loss)和利用非线性优化的方法(如随机梯度下降)来实现网络中的参数对 有监督数据的 最优,从而实现模型的泛化能力。深度学习过程,一般是获取、处理数据,选择与设计模型,构建模型的评价函数、训练与测试、模型部署和移植优化的过程。各个领域目前都存在经典的模型算法,例如图像分类领域的VGG、Inception、ResNet模型,通常也出现在其他任务中的主干网络;目标检测领域的one-stage方法yolov4、SSD,two-stage方法FasterRCNN、RetinaNet,Anchor-free方法CerterNet、FCOS等;语义分割领域的Segnet、DeepLab;实例分割领域的MaskRCNN、BlendMask、YOLACT等。这些模型实际上存在主干网络、金字塔结构实现特征提取,然后neck部分实现特征的集成,head部分完成分类和回归任务。无论哪个领域,都离不开大量标注数据的支持,同时cv领域也需要 数据增强的方法 提升训练的效果。此外,loss函数对于不同的问题也需要不同的设计,如MSEloss、交叉熵loss、IOU loss等。对于训练过程,良好的数据batch量和优化的方法如随机梯度下降、Adam等方法都是常用的方法来进行非线性优化。最终模型的目的是实现训练loss较小、测试loss最小,最后完成模型的实际部署。