最近发表的话题
最近发表的评论
  • 深入探讨神经网络宽度对深度学习模型性能的影响|文末送书 at 3周前

    在工程方面,网络的设计和任务以及数据集的关系特别大。ImageNet种类多数据量大,所以需要足够宽的浅层来提取丰富的梯度纹理等特征,输入分辨率大,也可以用足够深的网络来充分抽象出物体的高层特征。但在一些较简单的场景中,如果是种类比较少,尤其是物体本身的特征不是特别复杂的时候,就可以用比较瘦长的网络,既不会浪费通道又可以提高网络的效率。在深度方面,resnet结构真的太有用了,现在主流的backbone基本都有resnet的影子
    对3.1的结论有点异议,如果只是取反,就是原本特征的纯线性变化,并没有增加到该层的信息量。网络的提升,应该是该层concat后通道数增加了,导致下一层的卷积核也变多而带来的提升。