复现算法的踩坑总结

一、熟悉数据
二、算法选型
三、基于已有实现来优化算法
四、一些有用的训练建议

1、在指标上钻牛角尖。
指标在自己数据集效果不太好的情况时，立马换别的算法，或者立马换个backbone，或者立马换个loss去做实验。需要认真分析为什么效果不好，是自己训练有问题，还是当前数据不太适合该算法，是评测指标不合理，还是评测指标实现有问题。
2、不进行相关调研，直接上SOTA算法。
这样做会有一些不太理想的问题，比如SOTA可能没有针对自己场景的数据做优化，比如当前任务是小目标居多（通过分析数据得到），虽然SOTA的总的mAP很高，但是small mAP比之前算法还低，那就要慎用 。比如SOTA用的是很重的网络，但是任务是速度快，或者速度与效果兼顾，那也应该慎用。（可以基于SOTA针对自己场景的数据进行改进。）

1、更方便深入的理解算法的具体细节。
比如可能代码在文章没有提到的某些层上偷摸的加了一个shift操作，比如文章提到的一些trick代码根本没有实现，比如代码用了额外的数据训练但文章没有提到，比如文章描述的数据增强方式与代码的实现不一样等。（这些可能发生在开源复现者没有“一比一”复现论文的情况，也可能发生在论文作者自己没有实现的情况）
2、能快速掌握算法的基础性能。
比如复现算法大概的运行速度（特别是文章没给出的时候）和达到的效果。
3、不用自己做一些无用功。
重写和调试一份新的模型不仅费时费力，可能还因为文章没有写清楚一些细节，导致你几乎无法复现到相应的结果。

1、代码是否实现了文章一些涨点的trick，如果没有可以尝试。
2、文章一般会分析实验结果，后面会有作者自己的一些观点，他们可能会说明为什么有些情况文章的算法效果较差。
3、有些文章会写他们将来可能的工作，这也是一个改进思路。
4、需要可视化查看实验结果（特别是跑自己的数据集），结果可能与作者在公开数据集展示出的问题不一样，分析效果差的原因。