极市平台视觉算法季度赛-常见问答

比赛 你找不到我 ⋅ 于 10个月前 ⋅ 最后回复由 Patrick 2个月前 ⋅ 4252 阅读

极市平台视觉算法季度赛-短袖短裤识别、小摊贩占道识别,已经开始啦~季度赛详情

竞赛培训直播回放|第 52 期:极市平台在线训练及 OpenVINO™加速深度学习推理在算法季度赛中的应用


如何提问

当大家在比赛中遇到问题时,请先浏览 比赛流程说明平台使用指南和本帖的常见问题

如果还是不能解决自己的问题,可以前往社区比赛模块提问,极市工作人员都会及时回复的,对于有效提问,极市有福利奖励,具体见文末

提问规范:提个问题--比赛--帖子题目:【季度赛】+问题
file
file


目前比赛中参见问题如下:

报名和比赛流程问题:

问:参赛必须实名认证吗?
答:是的,实名认证主要是为了保证报名参赛人员的信息真实有效,大家可在上传照片前,加上 仅供极市平台实名认证使用 的水印;极市平台尊重用户隐私,未经用户许可,不会泄露用户信息给第三方


问:实名认证需要多长时间?
答:实名认证提交申请后,2小时内通过审核


问:团队参赛成员信息需要填写队长的信息吗?
答:队长信息以注册用户信息为准,团队报名的成员信息不用重复填写队长信息


问:报名后,还可以加队员吗?
答:团队报名,必须选择团队参赛,填写成员信息,组队上限3人;报名信息一经提交不可修改,请谨慎填写


问:比赛提交作品是网上提交么?需要去现场写代码么?
答:本次季度赛全程线上开发、训练、测试,不需要到现场写代码


问:可以线下训练模型吗?
答:用户可在本地调试,但是只能在极市平台进行线上训练模型


问:比赛训练好的模型可以下载吗?
答:目前暂不支持下载,极市平台提供自动测试工具,参赛者可实时了解自己的模型训练效果


问:没有在编码,积分还会消耗吗?
答:编码实例,由于在启用状态下,会一直占用GPU,所以,积分就会持续消耗,不依赖于是否打开该编码页面;所以推荐各位在编码完成后,及时提交代码保存并停用实例,以节省积分

【极市季度赛】积分使用 Tips https://bbs.cvmart.net/topics/1646


问:哪些操作会消耗积分
答:涉及到GPU使用的都会消耗积分的,编码环境有GPU,用于调试代码;发起训练有GPU,用于训练模型;


问:为什么要使用Dockerfile?
答:本次季度赛全程都是基于线上开发训练的,使用Dockerfile是为了方便调度资源,确保大家都能用到和编码一致的编译环境;使用 docker 可以尽量保证交付环境的一致性, 对于模型实现真正意义的商用是很有利的,这次比赛不仅是锻炼参赛者的算法开发能力,也是为了让参赛者接触到工程化应用,比如git ,docker和c++,提高参赛者的市场竞争力

赛题相关问题

问:安全帽识别,是否需要预测输出person?
答:安全帽识别的person这个标签不用进行预测输出,只要识别安全帽相关的标签


问:口罩 和帽子的类别是否一样?口罩有两个?帽子有几个?
答:类别都不止两个,可以参考下赛课题描述里面的数据说明:https://cvmart.net/race/4/des


数据集问题

问:数据集可以下载到本地吗?
答:数据集不能下载到本地,极市平台提供免费GPU算力,支持参赛者全程线上开发训练


问:训练数据在哪获取?
答:数据集统一存放在固定路径/home/data,其中包括编码环境中不可见的训练数据集/home/data/1;编码环境中可见的样例数据集/home/data/1;训练数据按流程成功发起训练任务就可以自动调用
详情请见极市开发环境指导:https://www.cvmart.net/doc/dev_env_guide


问:数据集文件下为什么只能看到200个数据?
答:只有样例集的数据可见,100张图片加对应的100个xml。
训练数据需要发起训练的时候,才能读取到


问:那岂不是一点都看不到图片数据标注情况
答:开发环境里面的vscode可以打开这些数据去查看的

问:/home/data/1显示没有这个文件夹
答:示例数据是可以看到的,/home/data下面有一个子目录,不一定是1,安全帽的应该是/home/data/12,可以通过进入terminal,使用 ls /home/data 命令即可查看


环境问题

问:环境可以重新创建吗?
答:操作 重建实例 即可


问:请问框架自由吗?
答:框架自由的,我们预置并建议开发者使用 TensorFlow,pytorch,mxnet,darknet 4个框架,参赛者如果用其他框架,需要依据Dockerfile规范自行编写匹配的Dockerfile,
file
详见:https://www.cvmart.net/doc/dev_env_guide


问:创建环境后想要切换框架怎么办?
答:联系比赛官方QQ交流群的群主(极市小助手),QQ群号:834502673


问:训练使用的环境是调试时安装的环境?
答:训练环境就是依据你git 提交的dockerfile去构建的训练环境


问:使用开发环境中的Dockerfile重新构建开发环境时,有些目录没有创建
答:开发环境里面的/project/train,这个目录的内容是从外部磁盘挂载的(防止数据丢失);
在重置实例的构建镜像的过程中,使用的代码是开发者的代码仓库里面的代码,并不是/project/train/src_repo里面的;
当重置实例时,会从开发者的src_repo对应的远程代码仓库拉取代码,然后根据这个仓库里面的Dockerfile来构建一个镜像,此时会有两种情况:
1)如果新创建的镜像时用于训练(即发起训练)的:那么这个Dockerfile里面的所有代码会正常执行,没有问题,如预期的一样执行;
2)如果新建镜像时是用于开发环境(也就是重置实例),Docerfile里面的代码也会按照预期执行,但是与1)中不同的是,从这个镜像启动时,外部挂载的目录会把/project/train/这个目录覆盖掉。
综上所述,如果在Dockerfile里面写入mkdir -p /project/train/models这个命令,其创建的目录在开发环境中是看不到的。


问:编码环境可以上传文件吗?上传后的文件在哪里?
答:在编码环境中,右侧有提供文件上传按钮;在上传完成后,会出现文件地址,可以点击[复制地址],随后在terminal通过wget命令即可获取该文件以使用。


开发相关问题

问:没法停止实例
答:有可能是因为没有还没有验证过Dockerfile,为了确保实例还能正常启用,需要各位开发者先验证过一次Dockerfile之后,才能够去停用实例的


问:我用示例代码在vscode上按照给的步骤搭建好了,试着改了下requirements.txt,然后按照例程git push,发现无法保存,这个是什么情况呢?
答:你用这个看下是不是src_repo/.git这个仓库删除了呢?
ls -a src_repo/


问:我直接把示例程序和原来给的那个src_repo做替换了,所以可能误删了,那这种情况我是只能重置实例了对吗
答:重置实例怕是不行,project/train/目录是挂载的哈, 你可以到/usr/local/ev_sdk下面执行一下这个看下自己的远程仓库git remote -v,然后后缀应该是ev-sdk.git,把后缀改成train-code.git,就是src_repo中原始的远程仓库了,可以clone下来,然后再放进原来的位置/project/train/src_repo


问:中止训练任务会保存中间结果吗
答:中止的话,是没有保存中间结果的


问:自己写代码然后根据data下的例子试试可不可以运行,适当调试;最后就可以提交训练了,对么?
答:是的,在编码环境吧代码调试好,使用小epoch,小batch试试代码是否如预期的运行,然后在发起训练的时候,第一次发起,也可以尝试小epoch(这样也不会消耗太多积分),等结果如预期般返回时,可以尝试使用大的epoch去训练


问:训练完成的模型文件在哪里?
答:需在训练命令中指定模型文件输出在/project/train/models下的子文件夹中,每个子文件夹必须包括加载这一模型的所有文件,例如,当使用darknet框架训练模型时,加载的模型包括cfg和weight文件,那么,模型保存时子文件夹必须包括这两个文件:

/project/train/models/
├── epoch10
│   ├── yolov3.cfg
│   └── yolov3.weight
└── final
    ├── yolov3.cfg
    └── yolov3.weight


问:训练完的模型怎么下载到镜像中?
答:训练完成之后,需要编写SDK代码和SDK镜像对应的Dockerfile,完整这些并发起测试的时候,可以在选择框中选择所训练的模型,系统会把所选择模型拷贝到SDK镜像的/usr/local/ev_sdk/model目录下。


问:为何会出现503 Service Temporarily Unavailable,以及如何解决?
答:开发环境的镜像使用基础镜像中以-workspace结尾的镜像来构建,里面包含一些初始化开发环境的程序。开发环境在重置或者发起训练后,会使用src_repo/Dockerfile来构建开发环境所使用的镜像,此时,如果src_repo/Dockerfile中的基础镜像不是以-workspace结尾的,就会导致初始化程序不能执行,结果就是出现503 Service Temporarily Unavailable错误。
解决方法:重建镜像,并且修改src_repo/Dockerfile,将-workspace结尾的基础镜像替换到FROM语句后,例如:

FROM 10.9.0.187/algo_team/cuda10.0-cudnn7.4.2-dev-ubuntu16.04-opencv4.1.1-tensorflow1.13-openvino2020r1-workspace

------------------------------------------------------------------------------------------------------福利分割线

季度赛社区提问福利
凡是在极市社区提问比赛相关问题的开发者,都有机会参与福利抽奖活动

奖品
背包X2、16G U盘X5、T恤X8
file

活动时间
即日起至季度赛结束(4月2日)

参与资格
1、报名季度赛的开发者
2、有实际意义的问题,水贴和无意义的问题无效
3、重复问题无效,不算做有效问题参与活动

微信公众号: 极市平台(ID: extrememart )
每天推送最新CV干货

本帖已被设为精华帖!
本帖由 Admin 于 2个月前 置顶
回复数量: 10
  • 问:使用开发环境中的Dockerfile重新构建开发环境时,有些目录没有创建
    答:

    1. 开发环境里面的/project/train,这个目录的内容是从外部磁盘挂载的(防止数据丢失);
    2. 在重置实例的构建镜像的过程中,使用的代码是开发者的代码仓库里面的代码,并不是/project/train/src_repo里面的;
    3. 当重置实例时,会从开发者的src_repo对应的远程代码仓库拉取代码,然后根据这个仓库里面的Dockerfile来构建一个镜像,此时会有两种情况:
      1)如果新创建的镜像时用于训练(即发起训练)的:那么这个Dockerfile里面的所有代码会正常执行,没有问题,如预期的一样执行;
      2)如果新建镜像时是用于开发环境(也就是重置实例),Docerfile里面的代码也会按照预期执行,但是与1)中不同的是,从这个镜像启动时,外部挂载的目录会把/project/train/这个目录覆盖掉。
      综上所述,如果在Dockerfile里面写入mkdir -p /project/train/models这个命令,其创建的目录在开发环境中是看不到的。
    10个月前 1
  • 问:编码环境可以上传文件吗?上传后的文件在哪里?
    答:在编码环境中,右侧有提供文件上传按钮;在上传完成后,会出现文件地址,可以点击[复制地址],随后在terminal通过wget命令即可获取该文件以使用。

    10个月前
  • 问:训练完成的模型文件在哪里?
    答:需在训练命令中指定模型文件输出在/project/train/models下的子文件夹中,每个子文件夹必须包括加载这一模型的所有文件,例如,当使用darknet框架训练模型时,加载的模型包括cfg和weight文件,那么,模型保存时子文件夹必须包括这两个文件:

    /project/train/models/
    ├── epoch10
    │   ├── yolov3.cfg
    │   └── yolov3.weight
    └── final
        ├── yolov3.cfg
        └── yolov3.weight
    10个月前
  • 问:训练完的模型怎么下载到镜像中?
    答:训练完成之后,需要编写SDK代码和SDK镜像对应的Dockerfile,完整这些并发起测试的时候,可以在选择框中选择所训练的模型,系统会把所选择模型拷贝到SDK镜像的/usr/local/ev_sdk/model目录下。

    10个月前
  • 问:为何会出现503 Service Temporarily Unavailable,以及如何解决?
    答:开发环境的镜像使用基础镜像中以-workspace结尾的镜像来构建,里面包含一些初始化开发环境的程序。开发环境在重置或者发起训练后,会使用src_repo/Dockerfile来构建开发环境所使用的镜像,此时,如果src_repo/Dockerfile中的基础镜像不是以-workspace结尾的,就会导致初始化程序不能执行,结果就是出现503 Service Temporarily Unavailable错误。
    解决方法:重建镜像,并且修改src_repo/Dockerfile,将-workspace结尾的基础镜像替换到FROM语句后,例如:

    FROM 10.9.0.187/algo_team/cuda10.0-cudnn7.4.2-dev-ubuntu16.04-opencv4.1.1-tensorflow1.13-openvino2020r1-workspace
    10个月前
  • 编码Dockerfile是否可以修改?Dockerfile文件在哪里找到?修改编码Dockerfile后如何应用新的Dockerfile?

    10个月前
    • @jiaenyue
      1.支持;
      2.编码环境里有两个Dockerfile,一个在/project/train/src_repo下,这个是用于编码训练;一个在/ev_sdk下,这个是用于测试任务;
      3.修改完Dockerfile之后,可以通过git命令提交到远程仓库以用于构建对应的训练、测试环境

      10个月前
  • 补充:
    训练任务发起时,执行命令的输入框,只能输入单行shell命令,支持 && 链接多条命令,多行命令无法正确执行

    10个月前
  • Q:Dockerfile验证不通过或者构建失败怎么办?
    A:发起Dockerfile验证后,可以在编码环境里点击【查看日志】按钮来去查看构建日志来进行排错;Dockerfile编写指导可以查看文档中心:http://www.cvmart.net/doc/dev_env_guide

    10个月前
您需要登陆以后才能留下评论!