最近发表的话题
最近发表的评论
  • 深入探讨神经网络宽度对深度学习模型性能的影响|文末送书 at 3周前

    对于宽度也就是channel,我觉得可以把它看做是关注点,举个例子,例如我们要辨别一张人脸,有些channel的关注点是鼻子,有些channel的关注点是耳朵,有些channel的关注点是眉毛,这些关注点一般来说当然是关注的越多越好,但是,如果channel过多呢?底层网络一般关注的是细节信息,高层网络关注的是语义信息。就底层而言。设想我们要辨别一对双胞胎,可能通过耳朵的卷曲程度这一点就能区别两个人,但是区别它两个的前提是首先识别他是个一个人,这就需要更多的信息,即更多的channel,那么如果channel太多,就会造成冗余,如果有3个channel关注了鼻子,只有一个channel关注了耳朵,那么就会造成不平衡,就会出现偏差;就高层而言,假如高层网络曲解了呢,越复杂月容易曲解。所以,现在NAS才那么火热,找到一个最合适的网络就交给网络自己解决吧,个人见解,不喜可喷!