|
直观认识
没有数据集时,深度学习说,这事我干不了。试试SIFT等手工特征吧。
不考虑速度和算力成本时,手工特征说:深度学习带带我,我抱你大腿,能改善性能。别扔下我不管。
要考虑时,手工特征说,深度学习就是高射炮,打蚊子不如电蚊拍,又快又准。2020年出了个新的局部描述子。
传统图像处理: 依赖手工特征(有理有据,可解释。但天花板就是设计特征的人的思维?)
深度学习: 依赖模型学到的特征。用算力 来突破工程师的脑力和想象力 (贫穷限制了我的想象力, 因为买不起GPU)。难解释。【但人脑的机理现在也解释不清啊,不也用了起码上千年吗】
具体对比
传统 CV 技术:
* 基于特征 * 这些传统方法包括:
- 尺度不变特征变换(Scale Invariant Feature Transform,SIFT)
- Speeded Up Robust Feature,SURF
- 基于加速分割测试的特征(Features from Accelerated Segment Test,FAST)
- Hough transform
- Geometric hashing
特征描述子(如 SIFT 和 SURF)通常与传统机器学习分类算法(SVM和KNN)结合使用,来解决 CV 问题。
传统CV方法的优点:
1.快, 2.不强求gpu 3.透明.
可以判断解决方案能否在训练环境外有效运转。 CV 工程师了解其算法可以迁移至的问题,这样一旦什么地方出错,他们可以执行调参,使算法能够有效处理大量图像。
深度学习有时会「过犹不及」,传统 CV 技术通常能够更高效地解决问题,所用的代码行数也比深度学习少。 SIFT,甚至简单的色彩阈值和像素计数等算法,可对任意图像执行同样的操作。 相反,深度神经网络学得的特征是特定于训练数据的。
因此,SIFT 等算法通常用于图像拼接/3D 网格重建等应用,这些应用不需要特定类别知识。 这些任务也可以通过训练大型数据集来实现,但为一个封闭应用费这么大劲并不实际。
ref: 机器之心:传统计算机视觉技术落伍了吗?不,它们是深度学习的「新动能」
目前深度学习还不能一统天下的方向(传统方法的用武之地):
- 3D视觉(3D CNN 的计算复杂度随着分辨率呈现三次方增长。)
- 数据增强:人们希望数据增强步骤 需要极少的计算,且可在深度学习训练流程中实现,这样变换后的图像就不必存储在磁盘中了。 PCA、噪声添加、在特征空间的样本之间进行内插或外推(Mixup等方法?),以及基于分割标注,建模视觉语境周边物体。
- 在低成本微处理器上处理简单场景。 例如,对流水线传送带上的两类产品进行分类,一类是红色一类是蓝色。深度神经网络需要首先收集充足的训练数据。然而,使用更简单、快速的色彩阈值方法也能达到同样的效果。
手工特征+深度学习 = (maybe)做到又快又准:
某论文:
将 乘积累加运算 减少到深度学习方法的 130-1000 分之一,帧率相比深度学习方法有 10 倍提升。此外,混合方法使用的内存带宽仅为深度学习方法的一半,消耗的 CPU 资源也少得多。
过去4年内的论文有做:
- Local Learning With Deep and Handcrafted Features for Facial Expression Recognition
2. Editorial Image Retrieval Using Handcrafted and CNN Features
In this work, we present a combined feature representation based on handcrafted and deep approaches, to categorize editorial images into six classes (athletics, football, indoor, outdoor, portrait, ski). 3. Using CNN With Handcrafted Features for Prostate Cancer Classification
Our model combines both convolutional neural network (CNN) extracted features and handcrafted features. In our model, the input data is sent into two subnets. One is a modified ResNet with an improved spatial transformer (ST) for high dimension feature extraction. The other subnet extracts three handcrafted features and processes them with a simple CNN. After those two subnets, the output features of the two subnets are concatenated and then sent into the final classifier for prostate cancer classification. Experimental results show that our model achieves an accuracy of 0.947, which is better than other state-of-the-art methods 4. Feature Engineering Meets Deep Learning: A Case Study on Table Detection in Documents
…… As a side effect, decades of research into hand-crafted features is considered outdated. In this paper, we present an approach for table detection in which we leverage a deep learning based table detection model with hand-crafted features from a classical table detection method. We demonstrate that by using a suitable encoding of hand-crafted features, the deep learning model(DL为主 手工特征为辅) is able to perform better at the detection task.
comparable with the state-of-the-art deep learning methods without the need of extensive hyper-parameter tuning 5. Object detection on deformable surfaces using local feature sets, 2017
randomly oriented objects in pick-and-place systems. Feature matching algorithms such as SIFT, SURF etc. usually fail when there are multiple instances of same object and object shape deformation problems in the scene. we present an approach which uses SURF feature sets consisting of local neighbor features for matching and hierarchical clustering for estimating object center. Using extracted local neighbor features and their descriptors, our algorithm finds more number of true-positive matches among features and improves the detection in the case of deformation and multiple instances. 6. Engineering Hand-designed and Deeply-learned features for person Re-identification
cv离不开opencv,opencv2020年的更新:
- 更好的SIFT(Better SITF)
- RANSAC的改进
RANSAC, 随机一致性采样, 主要解决样本中的外点问题,最多可处理50%的外点情况。
- penCV 4.5.1中最令人兴奋的特性之一:
BEBLID (Boosted Efficient Binary Local Image Descriptor 二值图像局部描述子):2020年引入的一个新的描述符,改善了ORB [ 导向快速和旋转jianduan:有10年的历史,效果好]。
提高图像匹配精度,同时减少执行时间!
只需更改一行代码,将ORB描述符替换为BEBLID ,就可以将这两个图像的匹配结果提高14%。
这在需要局部特征匹配的高级任务中, 比如姿态估计, 计算视差图(用于深度估计), 会产生很大影响
ref: 修改OpenCV一行代码,提升14%图像匹配效果_OpenCV中文网-CSDN博客
ref: 图像局部特征点检测算法综述 - ☆Ronny丶 - 博客园
- OpenCV一直引入新论文的算法,包括DL.
- 基于GMM的MOG2, 被AIC比赛的获奖队伍用于背景提取。
(应该是因为可以直接调用。换成深度学习的方法, 效果可能更好, 但实现起来更复杂。) https://docs.opencv.org/master/d0/de3/citelist.html#CITEREF_MOG2001
科学哲学?
(个人抒发千古骚情时间)
手工特征是具体的,固定的,可描述的。
深度学习的特征,尤其是深层网络的特征,是抽象的,semantic的,人类难描述的。但人类自己如何分辨猫和狗,有时也难用语言描述。
如果把手工特征比喻成常量,深度特征就是变量。手工特征,如角点,是深度特征的子集。
大道无形,“水无形而有万形,水无物能容万物”。 唯有不囿于“形”,方能窥见“神”。
人类无法理解与解释的特征,可能机器容易理解与解释。毕竟人眼看山还是山,但机器看山不是山,看水不是水,看到的是RGB, HSV, Lab,是pattern,是高斯分布。 |
本帖子中包含更多资源
您需要 登录 才可以下载或查看,没有账号?立即注册
×
|