当前位置:首页 >> 工学 >>

摄像机标定


3. 摄像机标定

主要内容
1、引言 2、图象的形成过程 3、传统标定方法 DLT方法,RAC方法和简易标定方法 4、摄像机自标定

引言 几个问题
什么是摄像机标定 ?Camera calibration

为什么要对摄像机进行标定 ?
为什么要研究不同的摄像机标定方法?


引言
?计算机视觉的基本任务之一是从摄像机获取的图 像信息出发计算三维空间中物体的几何信息,并由 此重建和识别物体。 ?摄像机标定:标定过程就是确定摄像机的几何和 光学参数,摄像机相对于世界坐标系的方位。
?标定精度的大小,直接影响着计算机视觉的精度。

引言
?

?

三维重建:从二幅和二幅以上图象恢复空 间点三维坐标的过程。 三维重建的三个关键步骤
? ? ?

图象对应点的确定 摄像机标定 二图象间摄像机运动参数的确定

引言
? ?

摄像机标定分类
是否需要标定参照物:传统的摄像机标定 方法、摄像机自标定方法;
?

精度要求高且摄像机的参数不经常变化,首选 传统标定方法
精度要求不高的场合,如通讯、虚拟现实等, 自标定方法。

?

引言
? ?

所用模型不同:线性和非线性 线性模型摄像机标定: 用线性方程求解, 简单快速,准确性欠佳; 考虑了畸变参数,引入了非线性优化,但 方法较繁,速度慢,对初值和噪声比较敏 感;

?

引言
? ? ? ? ?

摄像机使用个数:单目,双目 求解参数的结果:隐式和显示 求解的方法:解析法、神经网络算法等 标定块的使用:平面、立体 定标的步骤:两步法、三步法、四步法 不同应用领域的问题对摄像机定标的精度要求不同, 因此要求应使用不同的定标方法来确定摄像机的参 数

?

坐标系
1、世界坐标系:

X w , Yw , Z w

Xw

Zw Yw

2、摄像机坐标系: X c , Yc , Z c 3、图像坐标系(像素坐 标系和物理坐标系: ?u, v? 说明: 为了校正成像畸变 用理想图像坐标系

Ow

世界坐标系

?x, y ?

Xc

y u

Zc

?X u , Yu ?
?X r , Yr ?
O

v

O1
图像坐标系

x

和真实图像坐标系

Yc

分别描述畸变前后的坐标关系

摄像机坐标系

摄像机光学成像过程的四个步骤
1、刚体变换公式

世界坐标系 刚体变换 摄像机坐标系 透视投影

? xc ? ? xw ? ? y ? ? R? y ? ? t ? c? ? w? ?zc ? ?zw ? ? ? ? ?
齐次坐标形式

理想图像坐标系
? xw ? t ? ? yw ? ? ? 1? ? xw ? ? ? ? ?1 ?

? xc ? ?y ? ? c? ? ? R ? z c ? ? 0T ? 3 ? ? ?1 ?

畸变校正 真实图像坐标系

数字化图像
数字化图像坐标系

2、透视投影——透镜成像原理图
物体

1 1 1 ? ? f m n
A B

B

O

C 图像

一般地由于 n ?? f 于是 m ? f 这时可 以将透镜成像模型近 似地用小孔模型代替

f=OB 为透镜的焦距 m=OC 为像距 n=AO 为物距

2、中心透视投影模型
xc xu ? f zc yc yu ? f zc
o 写成齐次坐标形式为
? xu ? ? f z c ? yu ? ? ? 0 ? ? ? ?1 ? ? 0 ? ? ? 0 f 0 ? xc ? 0 0? ? ? ? ? yc ? 0 0? ? zc ? 1 0? ? ? ? ?1 ?
Xc Yc Yu
p ? xu , yu ?

M ?xc , yc , zc ?

f

Zc

O1

Xu

3、畸变校正——径向和切向畸变
径向畸变
离心畸变 薄透镜畸变
xr ? xu ? ? xu ?xu , yu ?

径向失真 切向失真
Yu
dr

Ideal Position
dt

Position with distortion

y r ? y u ? ? y u ? xu , y u ?

Xu

dr :radial distortion dt :tangential distortion

4、图像数字化
O1在 u, v 中的坐标为 ?u 0 , v0 ? 象素在轴上的物理尺寸为 dx, dy
Affine Transformation :
V

Yd
yd

xd yd cot ? u ? u0 ? ? dx dx yd v ? v0 ? dy sin ?
? f u cot ? f v / sin ? 0

v0
C

?
u0
fu ? 1 1 , fv ? dx dy

xd
O1

?

Xd
U

齐次坐标形式:
?u ? ? f u ?v ? ? ? 0 ? ? ? ?1 ? ? 0 ? ? ? u 0 ? ? xd ? v0 ? ? yd ? ?? ? 1 ? ?1 ? ?? ?

其中

摄像机的内参数矩阵 K
?u ? ? f u ? f u cot ? u 0 ? ? xr ? ?v ? ? ? 0 ?? y ? f v / sin ? v0 ? ? r ? ? ? ? ?1 ? ? 0 0 1 ? ?1 ? ? ? ? ???????? ? ? ? ?
K

线性摄像机成像模型
图像像素坐标系 图像物理坐标系 摄像机坐标系
? xc ? 0 0? ? ? y 0 0? ? c ? ??z ? 1 0? ? c ? ? ?1 ?

世界坐标系
? xc ? ?y ? ? c? ? ? R ? z c ? ? 0T ? 3 ? ? ?1 ? ? xw ? t ? ? yw ? ? ? ??x ? 1? w ? ? ?1 ?

?u ? ? f u ?v ? ? ? 0 ? ? ? ?1 ? ? 0 ? ? ?

? f u cot ? f v / sin ? 0

u0 ? ? x ? v0 ? ? y ? ?? ? 1 ? ?1 ? ?? ?

?x ? ?f 1 ? ? y? ? ? ? z ?0 c ?1 ? ?0 ? ? ?

0 f 0

最终得到:

图像像素坐标系
?u ? ? f u ? f u cot ? u 0 ? ? f z c ?v ? ? ? 0 f v / sin ? v0 ? ? 0 ? ? ? ?? ?1 ? ? 0 0 1 ?? ? ? ? ???????? ? 0 ? ?
K

世界坐标系
0 f 0 0 0? ? R 0 0? ? T ? o 1 0? ? 3 ? ? xw ? ? ? t ? ? yw ? 1? ? z w ? ? ? ? ? ? ?1 ?

这是忽略畸变的线性成像模型

传统的摄像机标定方法
特点:要求摄像机标定块,算法复杂,精度高

直接线性变换(DLT变换)
DLT: Direct Linear Transformation

DLT变换

Abdal-Aziz和Karara于70年代初提出了直接 线性变换像机定标的方法,他们从摄影测量 学的角度深入的研究了像机图像和环境物体 之间的关系,建立了像机成像几何的线性模 型,这种线性模型参数的估计完全可以由线 性方程的求解来实现。

DLT变换
直接线性变换是将像点和物点的成像几何关系在齐次坐标下 写成透视投影矩阵的形式:

?X w? ?u ? ?Y ? s ? v ? ? P3?4 ? w ? ? ? ? Zw ? ?1 ? ? ? ? ? ? 1 ?

其中 ?u, v,1? 为图像坐标系下的点的齐次坐标,X w , Yw , Z w ? 为 ? 世界坐标系下的空间点的欧氏坐标, 为 3? 4 的透视投影矩 P s 阵, 为未知尺度因子。

DLT变换
消去 s ,可以得到方程组:
p11 X w ? p12Yw ? p13Z w ? p14 ? p31uX w ? p32uYw ? p33uZ w ? p34u p21 X w ? p22Yw ? p23Z w ? p14 ? p31vX w ? p32vYw ? p33vZ w ? p34v
? p11 ? ? u1 ? ?p ? ?v ? ? 12 ? ? 1? ? p13 ? ? ... ? ? ? ? ? p14 ? ? ? ... ? ? p21 ? ? ... ? ? ? ? ? A? p 22 ? ? p34 ? ... ? ?p ? ? ... ? 23 ? ? ? ? ? p 24 ? ? ... ? ? ? ? ? p31 ? ? ? ... ? ? p32 ? ?u n ? ? ? ? ? ? p33 ? ? vn ? ? ? ? ?

等式左右两端 除以 p34

DLT变换
当已知 N 个空间点和对应的图像上的像点时,可得到一个 含有2* N 个方程的方程组:

AL ' ? U

L' ? ( AT A) ?1 AT U

其中 A为 ?2N *11? 的矩阵, ' 为透视投影矩阵元素组成的 L

? p'11 , p'12 , p'13 , p'14 , p'21 , p'22 , p'23 , p'24 , p'31 , p'32 , p'33 ,1?T 。 向量

DLT变换
T ? p '1 ? T p34 ? p ' 2 ? p 'T ? 3

p14 ? ? f x ? ? p 24 ? ? ? 0 1 ? ?0 ? ?

0 fy 0

u0 v0 1

? r1T 0? ? T ? ? r2 0? ? T r3 0? ? T ? ?0 ?

tx ? ? ty ? tz ? ? 1? ?

T p '1 ? ? p '11 , p'12 , p '13 ?

p 'T ? ? p ' 21 , p' 22 , p' 23 ? 2 p 'T ? ? p '31 , p '32 , p'33 ? 3

p34 p 'T ? r3T ? 1 3

? ?

没有考虑投影矩阵参数间的约束关系
在数据有误差的情况下,计算结果有误差, 且误差在各参数间的分配没有按他们间的 约束关系考虑。

R. Tsai 的 RAC的定标算法

简 介
RAC: 80年代中期Tsai提出的基于RAC( radial alignment constraint)的定标方 法是计算机视觉像机定标方面的一项重要工 作。 RAC方法的最大好处是它所使用的大部分方 程是线性方程,从而降低了参数求解的复杂 性,因此其定标过程快捷,准确。

主要内容

?像机模型 ?径向一致约束 ?定标算法

像机模型
xw xc xu zc
O

zw
yw

o

'

yu

世界坐标系和摄像机坐标系的关系

oc

c

y

? xc ? ? xw ? ? ? ? ? ? y c ? ? R? y w ? ? T ?z ? ?z ? ? c? ? w?

像机模型
Yc Yu
p ? xu , yu ?
M ? xc , yc , zc ?

Zc

O
Xc

O1

Xu

摄像机坐标系和图像坐标系的关系

xc yc xu ? f , yu ? f zc zc

像机模型

理想图像坐标到实际图像坐标的变换 (只考虑径向偏差)
2 2 xr ? k1 xr ( xr ? y r ) ? xu 2 2 y r ? k1 y r ( xr ? y r ) ? yu

像机模型
v
Yr

从实际图像坐标到数字图像坐标的变换

u ? s x d x?1 xr ? u0 , v ? d y?1 y r ? v0
m

yr

v0
?

O1

?

xr

Xr

c

u0

u

径向一致约束
Oc Xc

Zw Yc
Ow

o1
yu
Poz

Pu

xu
Pd ( X r , Yr )

径向一致约束:
O1 Pd // Poz P

Yw
Xw

P
Zc

定标算法
定标步骤: 1.利用径向一致约束来求解 R, t x , t y 和

sx

z 2.求解有效焦距 f 、 方向上的平移和畸变参数 k1

定标算法——步骤一
1.求解外像机参数旋转矩阵 R 和 x 、y 方向上的平移

由一个空间点? X wi , Ywi , Z wi ?和其图像投影点 ?x fi , y fi ?,根据径 向一致约束性 O1 Pd // Poz P 可以得到下面的方程

xc ? r1 x w ? r2 y w ? r3 z w ? Tx yc ? r4 x w ? r5 y w ? r6 z w ? T y z c ? r7 x w ? r8 y w ? r9 z w ? Tz

xc xr r1 x w ? r2 y w ? r3 z w ? Tx ? ? yc y r r4 x w ? r5 y w ? r6 z w ? T y

定标算法——步骤一
1.求解外像机参数旋转矩阵 R 和 x 、y 方向上的平移

?y X

?

r

wi

y r Ywi T y?1r2

y r Z wi T y?1r3
ud ? s x

yr T y?1Tx
xr ? u0 dx

? xr X wi T y?1r4

? xr Y wi T y?1r5

? xr Z wi ?

T y?1r1

?1 T T y r6

?

?

? xr

但是由于:

yr vd ? ? v0 dy

定标算法——步骤一
1.求解外像机参数旋转矩阵 R 和 x 、y 方向上的平移

令u0,v0为计算机屏幕的中心点坐标,计算 实际图像坐标 ( xr , y r )

?y X

?

r

wi

y r Ywi
? s x t y 1r2

y r Z wi
? s x t y 1r3

yr

? xr X wi
? t y 1r4

? xr Y wi
? t y 1r5

? xr Z wi ?
?1 T t y r6

? s x t y 1r1

? s x t y 1t x

?

?

? xr

定标算法——步骤一
如果得到一系列数目大于7个的标志点和它们的对应投影 图像点,就变成了一个过限制方程组,可以由最小二乘法 解出以下的7个变量
a1 ? T y?1s x r1 , a 2 ? T y?1s x r2 , a3 ? T y?1s x r3 , a 4 ? s xT y?1Tx , a5 ? T y?1r4 , a6 ? T y?1r5 , a7 ? T y?1r6

2.计算 | t y |
2 2 2 由 r4 ? r5 ? r6 ? 1

| t y |? ?a ? a ? a
2 5 2 6

1 2 ?2 7

?

定标算法——步骤一
3.确定 s x
由 r ? r ? r ? 1 ,s x ? ?a
2 1 2 2 2 3
2 1

?a ?a
2 2

1 2 2 3

?

| ty |

4.计算旋转矩阵R 和 t x ,并确定t y 的符号
先假定取正号,由以下的公式可以计算出旋转矩阵 R 和 t x

r1 ? a1t y / s x , r2 ? a 2 t y / s x , r3 ? a3t y / s x , r4 ? a5 t y , r5 ? a6 t y , r6 ? a7 t y
t x ? a4t y / s x

定标算法——步骤一
取世界坐标系中任一标志点 ?X wi , Ywi , Z wi ?,则可以计算出其在 像机坐标系中的坐标 X ci ? r1 X wi ? r2Ywi ? r3 Z wi ? t x , Yci ? r4 X wi ? r5Ywi ? r6 Z wi ? t y 同时取这个坐标点在图像上的投影点
? x di ? s x 1d x ( x fi ? C x ), y di ? d y ( y fi ? C y )

x 在实际像机系统中,di 应该 X ci 和同号,如果计算出两者异号, 则 t y 取为负号。最后求解 r7 , r8 , r9

r7 ? r2 r6 ? r3 r5 , r8 ? r3 r4 ? r1 r6 , r9 ? r1 r5 ? r2 r4

定标算法——步骤二
2. 求解有效焦距f,分量Tz和透镜畸变系数k
对于一个标志点,可以得到以下的两个方程
xri ?
2 xri k1 ( xri

?

2 y ri )

r1 X wi ? r2Ywi ? r3 Z wi ? t x ? f r7 X wi ? r8Ywi ? r9 Z wi ? t z r4 X wi ? r5Ywi ? r6 Z wi ? t y r7 X wi ? r8Ywi ? r9 Z wi ? t z

2 2 y ri ? y ri k1 ( xri ? y ri ) ? f

?1?

当不存在径向畸变时,1 ? 0 。 ?1? 式变为 ?2?式 k
xrit z ? f (r1 X wi ? r2Ywi ? r3 Z wi ? t x ) ? ? xri (r7 X wi ? r8Ywi ? r9 Z wi ) y rit z ? f (r4 X wi ? r5Ywi ? r6 Z wi ? t y ) ? ? y ri (r7 X wi ? r8Ywi ? r9 Z wi )

?2?

定标算法——步骤二
对于一系列的标志点,则形成了一个超定的方程组,可以 用线性最小二乘法求出 t z 和 f 。
当存在径向畸变时,仍应用式 ?2? 求出 t z 和 f 的初始值,然后

将求出的 t z 和 f 连同 k1 ? 0 作为条件,对式?1? 进行非线性优化,
f 估计出 t z 、 和 k1 的真实值。

张正友的平面标定方法
Yc
M ? X ,Y , 0?

Zc
O

Yw

m?u, v ?

Xc
Ow

Zw Xw

张正友的平面标定方法
?

方法的要求:
摄像机在两个以上不同的方位拍摄一个平面靶 标; ? 标定过程中摄像机内参保持不不变
?

张正友的平面标定方法
基本原理:

? 在这里假定模板平面在世界坐标系Z ? 0的平面上

?X ? ?u ? ?X ? ?Y ? s ?v ? ? K [r1 r2 r3 t ] ? ? ? K [r1 r2 t ]?Y ? ? ? ? ? ?0 ? ?1 ? ?1 ? ? ? ? ? ? ? 1 ? ?

~ M ? [ X Y 1]T为模 ? 其中,K 为摄像机的内参数矩阵,

~ ? [u v 1]T为模板平面上点 板平面上点的齐次坐标,m
[ 投影到图象平面上对应点的齐次坐标, r1 r2 r3 ] 和 t 分别是摄像机坐标系相对于世界坐标系的旋转矩阵和 平移向量

张正友的平面标定方法
~ ~ ? HM sm
其中

H ? [h1 h2 h3 ] ? ? K [r1 r2 t ]
T 1 2

根据旋转矩阵的性质,即 r r ? 0 和 r1 ? r2 ? 1 ,每 幅图象可以获得以下两个对内参数矩阵的基本约束

h K K h2 ? 0 ?T ?1 T ?T ?1 h K K h1 ? h2 K K h2
T 1 T 1

?T

?1

由于摄像机有5个未知内参数,所以当所摄取得的图象数 目大于等于3时,就可以线性唯一求解出 K

张正友的平面标定方法

张正友方法所用的平面模板

张正友的平面标定方法
算法描述
1. 2. 3. 4. 5. 6. 打印一张模板并贴在一个平面上 从不同角度拍摄若干张模板图象 检测出图象中的特征点 求出摄像机的内参数和外参数 求出畸变系数 优化求精

张正友的平面标定方法
张正友的平面标定方法是介于传统标定方法和自标定方法之 间的一种方法。它既避免了传统方法设备要求高,操作繁琐 等缺点,又较自标定方法精度高,符合办公、家庭使用的桌 面视觉系统(DVS)的标定要求。
张的方法的缺点是需要确定模板上点阵的物理坐标以及图像 和模板之间的点的匹配,这给不熟悉计算机视觉的使用者带 来了不便。

标定工具包
?

http://www.vision.caltech.edu/bouguetj/calib_ doc/


相关文章:
摄像机参数标定
摄像机参数标定_理学_高等教育_教育专区。摄像机参数标定数码相机标定 摘要: 摘要:针对相机标定问题,在做出合理的假设前提下,首先根据相机成像原理,建立了 相机的针孔...
Matlab摄像机标定工具箱的使用说明_图文
摄像机标定工具箱 1.1 Matlab 摄像机标定工具箱工具箱下载:http://www.vision.caltech.edu/bouguetj/calib_doc/download/index.html 说明文档:http://www....
影响摄像机标定的因素
影响摄像机标定的因素 摄像机标定是指确定摄像机的几何和光学参数,以及摄像机相对于世界坐标系的方位。 摄像机标定精度是用重投影误差来表示, 即根据标定结果计算...
摄像机标定过程中用到的函数
摄像机标定过程中用到的函数_数学_自然科学_专业资料。单目摄像机标定用到的opencv函数int cvFindChessboardCorners( const void*image, CvSize pattern_size, CvPoint...
摄像机标定的基本原理、实现及性能分析_正文_图文
31 37 1 摄像机标定的基本原理、实现及性能分析摘要:在图像测量过程以及机器视觉应用中,为确定空间物体表面某点的三维几何位置 与其在图像中对应点之间的相互关系,...
摄像机标定模板参数
摄像机标定模板参数_调查/报告_表格/模板_实用文档 暂无评价|0人阅读|0次下载|举报文档摄像机标定模板参数_调查/报告_表格/模板_实用文档。# Plate Description ...
双目摄像机标定
双目摄像机标定_电子/电路_工程科技_专业资料。1.摄像机标定技术的发展和研究现状计算机视觉的研究目标是使计算机能通过二维图像认知三维环境, 并从中获 取需要的...
摄像机标定及点结构光提取
摄像机标定及点结构光提取_物理_自然科学_专业资料。摄像机标定及点结构光提取 摄像机标定及点结构光提取 今日推荐 180份文档 CET...
机器视觉 实验一报告 角点检测和摄像机标定
机器视觉 实验一报告 角点检测和摄像机标定_理学_高等教育_教育专区。机器视觉 实验一报告 角点检测和摄像机标定 实验一报告角点检测和摄像机标定一、实验目的 1...
实验三 Matlab图像处理基本操作及摄像机标定(DLT)
实验三 实验三 图像处理基本操作及 Matlab 图像处理基本操作及摄像机标定(DLT) 1、实验目的 实验目的 通过应用 Matlab 的图像处理基本函数,学习图像处理中的一些...
更多相关标签:
摄像机标定原理 | 摄像机标定 opencv | 相机标定 | 标定板 | 张正友标定法 | 摄像机标定方法 | 摄像头标定 | 微型摄像头 |