FastestDet: 比yolo-fastest更快！更强！更简单！全新设计的 ...

TheLudGamer 发表于 2022-7-5 19:13

1.测试指标：

表中耗时是用NCNN测的，测试平台为RK3568 ARM-CPU，FastestDet相比于yolo-fastest单核耗时减少了50%，mAP0.5的指标要比yolo-fastest提升3.4个点。其实因为输入分辨率的增大，FastestDet的计算量是比yolo- fastest大接近一倍的，但是得益于极简的网络结构以及访存的减少，在多个平台实际测试耗时是减少很多的，尤其在单核或者性能比较弱的平台，速度提升50%+
2.概要

这次本来是打算把yolo-fastestV2代码重构下(本来yolo-fastestV2的代码就临时东拼西凑写的)，性能在优化下，结果改着改着就面目全非了，和yolo八杆子打不着了，再叫yolo-fastestV2.5或者V3就容易误导大家了，干脆叫个新名字FastestDet吧。其实算法的代码框架半年前就写完了，但是一直拖到现在才完善发布，主要是搞这个轻量级目标检测这个算是自己业余爱好，自己平日工作不是搞这类算法的，所以就平日下班没事儿做做实验，学习学习看看论文，探索优化（其实根本原因是前段时间沉迷游戏，占着家里炼丹的炉子没法炼丹）
3.算法定位

FastestDet是设计用来接替yolo-fastest系列算法，相比于业界已有的轻量级目标检测算法如yolov5n, yolox-nano, nanoDet, pp-yolo-tiny, FastestDet和这些算法压根儿不是一个量级，FastestDet无论在速度还是参数量上，都是要小好几个数量级的(不要在拿int8的模型和我fp32的模型比体积了,不公平)，但是精度自然而然也比不过。FastestDet是针对计算资源紧缺的ARM平台设计的，突出单核效能，因为在实际业务场景中，不会把所有CPU资源都给推理框架做模型推理的，假如说你想在例如树莓派, RK3399, RK3568去跑实时目标检测，那么FastestDet是比较好的选择，或者移动端上不想占用太多cpu资源，也可以去用单核并设置cpu sleep去推理FastestDet，在低功耗的条件下运行算法。
4.算法特性

先说下FastestDet的几个重要特性: 1.单轻量化检测头 2.anchor-free3.跨网格多候选目标4.动态正负样本分配 5.简单的数据增强下面我就一个个去详细讲下吧:
4.1 单轻量化检测头

这个是对网络结构上对算法模型进行优化，主要是提升算法运行速度，简化后处理步骤，大家可以先看下这块的网络结构：

其实多检测头设计的是为了适应检测不同尺度物体目标，高分辨率的检测头负责检测小物体，低分辨的检测头负责检测大物体，一种分而治之的思想。我个人觉得根因在于感知野，不同尺度的物体所需要的感知野是不同的，而模型每层的感知野都是不一样的，包括FPN也是对不同感知野特征的汇总融合。这块单检测头我也是参考的YOLOF的思想，在网络结构中，采用类似inception的5x5分组卷积并行网络结构，期待能融合不同感知野的特征，让单个检测头也能适应检测不同尺度的物体。
4.2 Anchor-Free

原先的anchor-base算法在训练模型都需要对数据集进行anchor-bias的运算，anchor-bias可以理解为对数据集中标注物体的宽高进行聚类，得到一组先验宽高，网络在这组先验宽高的基础上去优化预测框的宽高。FastestDet采用的是anchor-free算法，模型是直接回归gt于特征图宽高的scale值的，是没有先验宽高。这种方法可以简化模型后处理。而且对于anchor-base算法每个特征图的特征点是对应N个anchor候选框的，而这种anchor-free每个特征图的特征点只对应一个候选框，所以在推理速度上也是有优势的。
4.3 跨网格多候选目标

这块还是借鉴了yolov5，不单单只把gt中心点所在的网格当成候选目标，还把附近的三个也算进行去，增加正样本候选框的数量，如下图所示:

球球猫在努力拉粑粑

4.4 动态正负样本分配

所谓的动态正负样本分配其实就是在模型训练过程去动态分配正负样本，这是有别于以前yolo-fastest的，原先yolo-fastest的anchor-bias设置好以后, 通过计算anchor-bias与gt宽高的scale，对scale卡固定阈值分配正负样本（参考yolov5的做法），而anchor-bias和gt在训练过程中都是不变的，所以正负样本分配在训练过程中也是不变的。而在FastestDet的正负样本分配参考的ATSS，通过设置预测框与GT计算的SIOU的均值作为分配正负样本的阈值，假如当前预测框与GT的SIOU阈值大于均值，那么为正样本，反之异然。（为什么没有参考simota？那是因为在构建cost矩阵时，不同loss的权重还得调超参，懒的调了）
4.5 简单的数据增强

对于轻量级的模型数据增强要慎重，本来学习能力差，脑子不怎么好使，上来给难题做可不拉跨，所以采用简单的数据增强如随机平移和随机缩放，并没有采用moscia和Mixup。
5.测试效果图

xiaozongpeng 发表于 2022-7-5 19:21

大佬[赞同][赞同][赞同]

mypro334 发表于 2022-7-5 19:28

强啊 666

IT圈老男孩1 发表于 2022-7-5 19:34

小目标精度会不会很低

pc8888888 发表于 2022-7-5 19:34

模型输入512x512，输出的检测头分辨率是32x32，小目标肯定比yolo-fastest好些

xiangtingsl 发表于 2022-7-5 19:42

学习

DomDomm 发表于 2022-7-5 19:47

tql

Ylisar 发表于 2022-7-5 19:51

[开心]666

HuldaGnodim 发表于 2022-7-5 19:55

请问这个anchor free 策略和yolox一样吗？

LiteralliJeff 发表于 2022-7-5 20:01

不一样

页: [1] 2

Unity开发者联盟's Archiver

FastestDet: 比yolo-fastest更快！更强！更简单！全新设计的 ...