opencv学习笔记

ainatipen · 发表于 2022-7-8 11:42

视频学习链接：黑马程序员人工智能教程_10小时学会图像处理OpenCV入门教程_哔哩哔哩_bilibili

opencv：开源图像处理库，基本的图像处理算法：几何变化、形态学变化、图像平滑、直方图操作、模板匹配、霍夫变换、特征提取和描述方法、角点特征、harris和shi-tomas算法、sift/surf算法、fast算法、orb算法、视频操作的应用，案例：使用opencv进行人脸检测。
1.opencv简介

（1）图像的起源和数字图像的表示
&#34;图&#34;是物体反射或透射光的分布，&#34;像&#34;是人的视觉系统所接受的图在人脑中形成的印象或认识。
模拟图像：连续图像，通过对某种物理量的强弱变化来记录图像的亮度信息，是连续变化的。
数字图像：亮度使用离散的数值表示。
人眼对灰度更加敏感一些，在16位到32位之间，一般的灰度图使用8位即0-255来划分绝对的黑与白。
图像分类：二值图像（黑与白）--文字、线条图的扫描识别（ocr）和掩模图像的存储
               灰度图--每个像素对应一个采样颜色，常用256级的灰度--8位，由电磁波测量每个像素的亮度得到
               彩色图--每个像素由RGB三通道表示，各通道分量介于0-255之间，一般是8位无符号整形的数据。
（2）opencv的简介和部署方法
opencv--计算机视觉处理开源软件库，intel公司俄罗斯团队发起参加并维护，支持与计算机视觉、机器学习sklearn、深度学习相关的众多算法
opencv基于c++实现，提供了python、ruby、matlab的接口，opencv-python是opencv的python api，具有跨平台的特性，基于cuda和opencl的高速gpu操作接口也在开发当中。
opencv-python使用numpy库，使得与使用numpy的其他库（scipy、matplotlib）的集成更加容易
部署方法：
pip install opencv-python
pip install opencv-contrib-python #利用sift、surf等进行特征提取需要安装扩展库存在网速慢的情况，使用下面的方法进行安装
pip install opencv-contrib-python -i https://pypi.tuna.tsinghua.edu.cn/simple  （3）opencv中包含的主要模块
三个基础的模块:

core模块实现了最核心的数据结构及其基本运算，如绘图函数、数组操作相关函数等。
highgui模块实现了视频与图像的读取、显示、存储等接口。
imgproc模块实现了图像处理的基础方法，包括图像滤波、图像的几何变换、平滑、阈值分割、形态学处理、边缘检测、目标检测、运动分析和对象跟踪等。

对于图像处理其他更高层次的方向及应用，opencv也有相关的模块

features2d模块用于提取图像特征以及特征匹配，nonfree模块实现了一些专利算法，如sift特征。
objdetect模块实现了一些目标检测的功能，经典的基于Haar、LBP特征的人脸检测，基于HOG的行人、汽车等目标检测，分类器使用Cascade Classification（级联分类）和Latent SVM等。
stitching模块实现了图像拼接功能。
FLANN模块（Fast Library for Approximate Nearest Neighbors），包含快速近似最近邻搜索FLANN 和聚类Clustering算法。
ml模块机器学习模块（SVM，决策树，Boosting等等）。
photo模块包含图像修复和图像去噪两部分。
video模块针对视频处理，如背景分离，前景检测、对象跟踪等。
calib3d模块即Calibration（校准）3D，这个模块主要是相机校准和三维重建相关的内容。包含了基本的多视角几何算法，单个立体摄像头标定，物体姿态估计，立体相似性算法，3D信息的重建等等。
G-API模块包含超高效的图像处理pipeline引擎

2.opencv的基本操作

图像的IO操作，读取和保存方法
在图像上绘制几何图形
怎么获取图像的属性
怎么访问图像的像素，进行通道分离，合并等
怎么实现颜色空间的变换
图像的算术运算

2.1图像的io操作

2.1.1读取图像

cv.imread()参数：

要读取的图像
读取方式的标志
- cv.IMREAD*COLOR：以彩色模式加载图像，任何图像的透明度都将被忽略。这是默认参数。
- cv.IMREAD*GRAYSCALE：以灰度模式加载图像
- cv.IMREAD_UNCHANGED：包括alpha通道的加载图像模式。
  可以使用1、0或者-1来替代上面三个标志

2.1.2显示图像
cv.imshow()参数：

显示图像的窗口名称，以字符串类型表示
要加载的图像

注意：在调用显示图像的API后，要调用cv.waitKey()给图像绘制留下时间，否则窗口会出现无响应情况，并且图像无法显示出来。waitkey(0)代表永远显示。
另外我们也可使用matplotlib对图像进行展示。
# opencv中显示
cv.imshow(&#39;image&#39;,img)
cv.waitKey(0)
# matplotlib中展示
plt.imshow(img[:,:,::-1])注意：opencv中按照BGR的顺序对彩色图像进行存储，plt显示按照RGB的顺序，因此需调用[:,:,::-1]方法
2.1.3保存图像

cv.imwrite()参数：

文件名，要保存在哪里
要保存的图像

2.1.4综合案例

加载灰度图像，显示图像，按&#39;s&#39;退出并保存图像，按ESC键直接退出而不保存图像。
import cv2 as cv
import numpy as np
from matplotlib import pyplot as plt

#1.读取图像
# img = cv.imread(r&#34;D://learnopencv//pic.jpg&#34;)

#2.显示图像
#2.1opencv显示
# cv.imshow(&#34;img&#34;,img)
# cv.waitKey(0)
# cv.destroyAllWindows()
#2.2matplotlib显示
# plt.imshow(img[:,:,::-1])
# plt.show()

#3.灰度图片现实
img = cv.imread(r&#34;D://learnopencv//pic.jpg&#34;,0)
plt.imshow(img,cmap=plt.cm.gray)
plt.show()

#4.图像的保存
cv.imwrite(&#34;./test.jpg&#34;,img)2.2绘制几何图形

2.2.1绘制直线

cv.line(img,start,end,color,thickness)参数：

img:要绘制直线的图像
Start,end: 直线的起点和终点
color: 线条的颜色
Thickness: 线条宽度

2.2.2绘制圆形

cv.circle(img,centerpoint, r, color, thickness)参数：

img:要绘制圆形的图像
Centerpoint, r: 圆心和半径
color: 线条的颜色
Thickness: 线条宽度，为-1时生成闭合图案并填充颜色

2.2.3绘制矩形

cv.rectangle(img,leftupper,rightdown,color,thickness)参数：

img:要绘制矩形的图像
Leftupper, rightdown: 矩形的左上角和右下角坐标
color: 线条的颜色
Thickness: 线条宽度

2.2.4向图像中添加文字

cv.putText(img,text,station, font, fontsize,color,thickness,cv.LINE_AA)参数：

img: 图像
text：要写入的文本数据
station：文本的放置位置
font：字体
Fontsize :字体大小

2.2.5效果案例

import cv2 as cv
import numpy as np
import matplotlib.pyplot as plt

#1.创建图像
img = np.zeros((512,512,3),np.uint8)

#2.绘制图形
cv.line(img,(0,0),(511,511),(255,0,0),5)#opencv的颜色通道BGR
cv.circle(img,(256,256),60,(0,0,255),4,-1)#-1代表填充
cv.rectangle(img,(100,100),(400,400),(0,0,255),4)
cv.putText(img,&#34;tracer&#34;,(100,150),cv.FONT_HERSHEY_SIMPLEX,2,(255,255,255),3)

#3.显示图像
plt.imshow(img[:,:,::-1]) #按照rgb的方式显示
plt.show()2.3获取并修改图像中的像素点

我们可以通过行和列的坐标值获取该像素点的像素值。对于BGR图像，它返回一个蓝，绿，红值的数组。对于灰度图像，仅返回相应的强度值。使用相同的方法对像素值进行修改。
import numpy as np
import cv2 as cv
img = cv.imread(&#39;messi5.jpg&#39;)
# 获取某个像素点的值
px = img[100,100] #返回一个包含三个元素的一维数组
# 仅获取蓝色通道的强度值
blue = img[100,100,0]
# 修改某个位置的像素值
img[100,100] = [255,255,255]2.4获取图像的属性

图像属性包括shape（行数，列数和通道数），dtype（图像数据类型），size（像素数=行数*列数*通道）等。

图像的属性

2.5图像通道的拆分与合并

有时需要在B，G，R通道图像上单独工作。在这种情况下，需要将BGR图像分割为单个通道。或者在其他情况下，可能需要将这些单独的通道合并到BGR图像。你可以通过以下方式完成。
# 通道拆分
b,g,r = cv.split(img)
# 通道合并
img = cv.merge((b,g,r))2.6色彩空间的改变

OpenCV中有150多种颜色空间转换方法。最广泛使用的转换方法有两种，BGRGray和BGRHSV。
API：
cv.cvtColor(input_image，flag)参数：

input_image: 进行颜色空间转换的图像
flag: 转换类型
- cv.COLOR_BGR2GRAY : BGRGray
- cv.COLOR_BGR2HSV: BGR→HSV

综合案例

import cv2 as cv
import numpy
from matplotlib import pyplot as plt

img = cv.imread(&#34;pic.jpg&#34;)

plt.imshow(img[:,:,::-1])
plt.show()
b,g,r = cv.split(img)
# 单一通道使用灰度图显示
plt.imshow(b,cmap=plt.cm.gray)
plt.show()

plt.imshow(g,cmap=plt.cm.gray)
plt.show()

plt.imshow(r,cmap=plt.cm.gray)
plt.show()
#合并并显示图像
img2 = cv.merge((b,g,r))
plt.imshow(img[:,:,::-1])
plt.show()

#颜色空间转换
gray = cv.cvtColor(img,cv.COLOR_BGR2GRAY)
plt.imshow(gray,cmap=plt.cm.gray)
plt.show()

hsv= cv.cvtColor(img,cv.COLOR_BGR2HSV)
plt.imshow(hsv)
plt.show()2.7算术操作

2.7.1图像的加法

你可以使用OpenCV的cv.add()函数把两幅图像相加，或者可以简单地通过numpy操作添加两个图像，如res = img1 + img2。两个图像应该具有相同的大小（行、列、通道）和类型，或者第二个图像可以是标量值。
注意：OpenCV加法和Numpy加法之间存在差异。OpenCV的加法是饱和操作，而Numpy添加是模运算。opencv的结果更好
饱和、模运算举例：
>>> x = np.uint8([250]) #一个像素点
>>> y = np.uint8([10])
>>> print( cv.add(x,y) ) # 250+10 = 260 => 255 饱和操作
[[255]]
>>> print( x+y )       # 250+10 = 260 % 256 = 4  大于256进行取模运算
[4]案例

import numpy as np
import cv2 as cv
import matplotlib.pyplot as plt

# 1 读取图像
img1 = cv.imread(&#34;view.jpg&#34;)
img2 = cv.imread(&#34;rain.jpg&#34;)

# 2 加法操作
img3 = cv.add(img1,img2) # cv中的加法
img4 = img1+img2 # 直接相加

# 3 图像显示
fig,axes=plt.subplots(nrows=1,ncols=2,figsize=(10,8),dpi=100)
axes[0].imshow(img3[:,:,::-1])
axes[0].set_title(&#34;cv中的加法&#34;)
axes[1].imshow(img4[:,:,::-1])
axes[1].set_title(&#34;直接相加&#34;)
plt.show()<hr/>补充: subplot函数

说明
1、调用subplot()函数可以创建子图，程序可以在子图上绘制。subplot(nrows、ncols、index、**kwargs)函数的nrows参数指定将数据图区域分成多少行，ncols参数指定将数据图区域分成多少列，index参数指定获得多少区域。
2、subplot()函数还支持直接输入一个三位数的参数，其中第一位数是nrows参数；第二位数是ncols参数；第三位数是index参数。
参数
nrows:  subplot的行数
ncols： subplot的列数
sharex ：所有subplot应该使用相同的X轴刻度(调节xlim将会影响所有的subplot)
sharey: 所有subplot应该使用相同的Y轴刻度(调节ylim将会影响所有的subplot)
subplot_kw: 用于创建各subplot的关键字字典
**fig_kw: 创建figure时的其他关键字
实例
import numpy as np
import matplotlib.pyplot as plt
x = np.arange(0, 100)
#作图1
plt.subplot(2,2,1)  #等效于plt.subplot(221)
plt.plot(x, x)
#作图2
plt.subplot(2,2,2)
plt.plot(x, -x)
#作图3
plt.subplot(2,2,3)
plt.plot(x, x ** 2)
plt.grid(color=&#39;r&#39;, linestyle=&#39;--&#39;, linewidth=1,alpha=0.3)
#作图4
#plt.subplot(224)
#plt.plot(x, np.log(x))
plt.show()<hr/>2.7.2 图像的混合

这其实也是加法，但是不同的是两幅图像的权重不同，这就会给人一种混合或者透明的感觉。图像混合的计算公式如下：
g(x) = (1α)f0(x) + αf1(x)
通过修改 α 的值（0 → 1），可以实现非常炫酷的混合。
现在我们把两幅图混合在一起。第一幅图的权重是0.7，第二幅图的权重是0.3。函数cv2.addWeighted()可以按下面的公式对图片进行混合操作。
dst = αimg1 + βimg2 + γ
这里γ取为零。
示例代码

import numpy as np
import cv2 as cv
import matplotlib.pyplot as plt

# 1 读取图像
img1 = cv.imread(&#34;view.jpg&#34;)
img2 = cv.imread(&#34;rain.jpg&#34;)

# 2 图像混合
img3 = cv.addWeighted(img1,0.7,img2,0.3,0)

# 3 图像显示
plt.figure(figsize=(8,8))
plt.imshow(img3[:,:,::-1])
plt.show()3.OpenCv图像处理

主要内容

图像的几何变换
图像的形态学转换
图像的平滑方法
直方图的方法
边缘检测的方法
模板匹配和霍夫变换的应用

3.1图像的几何变换

学习目标

掌握图像的缩放，平移，旋转等
了解数字图像的仿射变换和透射变换

总结

图像缩放：对图像进行放大或缩小
cv.resize()
图像平移：
指定平移矩阵后，调用cv.warpAffine()平移图像
图像旋转：
调用cv.getRotationMatrix2D获取旋转矩阵，然后调用cv.warpAffine()进行旋转
仿射变换：
调用cv.getAffineTransform将创建变换矩阵，最后该矩阵将传递给cv.warpAffine()进行变换
透射变换：
通过函数cv.getPerspectiveTransform()找到变换矩阵，将cv.warpPerspective()进行投射变换
金字塔
图像金字塔是图像多尺度表达的一种，使用的API：
cv.pyrUp(): 向上采样
cv.pyrDown(): 向下采样

3.1.1图像缩放 cv.resize()方法

缩放：对图像的大小进行调整
函数：
cv2.resize(src,dsize,fx=0,fy=0,interpolation=cv2.INTER_LINEAR)

		自动登录	找回密码
密码			立即注册

opencv学习笔记

本帖子中包含更多资源