https://blog.csdn.net/u014629875/article/details/51340144
上一篇只是對于雙目立體視覺做了一個簡單的介紹，這里就我在做這個的時候碰到的一些問題做一個梳理。
1.
首先要糾正一下之前一個錯誤：cvRemap函數(shù)只接受灰度圖。其實(shí)這個函數(shù)要求src與dst大小格式通道必須一致就行，并不需要一定為灰度數(shù)據(jù)。當(dāng)時下這個結(jié)論主要是因?yàn)楸籓penCV的圖像矩陣數(shù)據(jù)格式搞得很暈，為了先出個結(jié)果。后來有了要輸出三通道數(shù)據(jù)的需要，倒是研究了一下OpenCV圖像的數(shù)據(jù)格式。
矩陣元素類型包括了兩部分信息，首先是元素?cái)?shù)據(jù)的類型，還有就是該元素包含的通道個數(shù)。
/*Mat_<uchar>對應(yīng)的是CV_8U，Mat_<uchar>對應(yīng)的是CV_8U，Mat_<char>對應(yīng)的是CV_8S，Mat_<int>對應(yīng)的是CV_32S，Mat_<float>對應(yīng)的是CV_32F，Mat_<double>對應(yīng)的是CV_64F*/
#define CV_8U 0
#define CV_8S 1
#define CV_16U 2
#define CV_16S 3
#define CV_32S 4
#define CV_32F 5
#define CV_64F 6
1
2
3
4
5
6
7
8
9
灰度圖就用CV_8U，三通道圖就用CV_8UC3，像我得出的視差圖數(shù)據(jù)就用CV_16S來存儲，三維坐標(biāo)信息的數(shù)據(jù)就用CV_32FC3的類型，總之按需求定。
2.
通過雙目獲取物體的三維信息之后，我的目標(biāo)是把這個三維信息投影到地面平面上進(jìn)行分析，所以需要建立空間坐標(biāo)系與地面平面坐標(biāo)系之間的轉(zhuǎn)化關(guān)系。
由于我只需要一個投影面，并不需要關(guān)注這個面是不是就是地面，只需要與地面平行即可，所以并不需要事先測定地面，這樣的話建立轉(zhuǎn)化就簡單了很多。
從左片中取一些地面上的像素點(diǎn)，計(jì)算出它們在空間坐標(biāo)系中的三維坐標(biāo)，用最小二乘擬合出這些點(diǎn)所在的平面Ax+By+Cz = D；
空間坐標(biāo)系是以左相機(jī)光心為原點(diǎn)，視軸為Z軸，基線為X軸（方向指向右相機(jī)）的右手系。由于我只要求一個投影平面，坐標(biāo)系可以任意，不妨取上述擬合平面Ax+By+Cz = D與Z軸的交點(diǎn)為地面平面坐標(biāo)系的原點(diǎn)o，與X軸的交點(diǎn)作為x軸正半軸上的點(diǎn)，由此可建立一個地面投影面的坐標(biāo)系。
幾個坐標(biāo)點(diǎn)：o（0，0，D）；x（DADA，0，0）；Y（-DA，D+DA2BD+DA2B，0）。可得到幾個坐標(biāo)向量：ox = （DADA，0，-D）；oy = （-DA，D+DA2BD+DA2B，-D）；oz = （A，B，C）；
假設(shè)空間中有一個點(diǎn)S（Xs，Ys，Zs）；向量oS = （Xs，Ys，Zs - D）；現(xiàn)在要求S在xoy平面上的投影，記作p。oS在oz上的投影為h = os⋅oz|oz|⋅ozos·oz|oz|·oz；所以op = oS - h，得到op之后求它在ox和oy上的投影即可得到投影面上的二維坐標(biāo)。
這樣三維信息就投影到了地面上，可以進(jìn)行分析了。
3.
我需要把相機(jī)拍攝的運(yùn)動物體（行人）提取出來，目前用的最多的有兩種方法：
（1）基于背景建模：
利用背景建模方法，提取出前景運(yùn)動的目標(biāo)，在目標(biāo)區(qū)域內(nèi)進(jìn)行特征提取，然后利用分類器進(jìn)行分類，判斷是否包含行人；
（2）基于統(tǒng)計(jì)學(xué)習(xí)的方法：
目前行人檢測最常用的方法，根據(jù)大量的樣本構(gòu)建行人檢測分類器。提取的特征主要有目標(biāo)的灰度、邊緣、紋理、顏色、梯度直方圖等信息。
由于當(dāng)前時間較緊，現(xiàn)階段只有背景建模提取前景的方法，后續(xù)會嘗試將兩者結(jié)合使用。
我用的是最簡單的方法，即幀差法，有兩種普遍的方法，一種是前后幀相減，一種是三幀法，簡要代碼如下：
/*前后幀相減*/
VideoCapture video("../camera.avi");
Mat img1, img2, gray1, gray2, grayDiff;
int diff_threshold = 20; //幀差閾值
while(1)
{
video.read(img1);
objectDetector(img1);
cvtColor(img1,gray1,CV_BGR2GRAY);
video.read(img2);
cvtColor(img2,gray2,CV_BGR2GRAY);
subtract(gray1,gray2,grayDiff);
for(int i = 0; i < grayDiff.rows; ++i)
{
for(int j = 0; j < grayDiff.cols; ++j)
{
if( abs(grayDiff.at<uchar>(i,j)) >= diff_threshold )
{
grayDiff.at<uchar>(i,j) = 255;
}
else
{
grayDiff.at<uchar>(i,j) = 0;
}
}
}
imshow("background",gray1);
imshow("zhencha",grayDiff);
char c = cvWaitKey(33);
if(c == 27)
break;
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
/*三幀法*/
VideoCapture video("../camera.avi");
Mat img1, img2, gray1, gray2;
Mat img3, gray3, grayDiff1, grayDiff2;
int diff_threshold = 20; //幀差閾值
while(1)
{
video.read(img1);
video.read(img2);
video.read(img3);
cvtColor(img1,gray1,CV_BGR2GRAY);
cvtColor(img2,gray2,CV_BGR2GRAY);
cvtColor(img3,gray3,CV_BGR2GRAY);
subtract(gray1,gray2,grayDiff1);
subtract(gray2,gray3,grayDiff2);
for(int i = 0; i < grayDiff1.rows; ++i)
{
for(int j = 0; j < grayDiff2.cols; ++j)
{
if( abs(grayDiff1.at<uchar>(i,j)) >= diff_threshold )
{
grayDiff1.at<uchar>(i,j) = 255;
}
else
{
grayDiff1.at<uchar>(i,j) = 0;
}
if( abs(grayDiff2.at<uchar>(i,j)) >= diff_threshold )
{
grayDiff2.at<uchar>(i,j) = 255;
}
else
{
grayDiff2.at<uchar>(i,j) = 0;
}
}
}
bitwise_and(grayDiff1,grayDiff2,grayDiff);//和運(yùn)算
imshow("background",img2);
imshow("zhencha",grayDiff);
char c = cvWaitKey(33);
if(c == 27)
break;
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
得到前景之后就可以利用之前建立的坐標(biāo)系轉(zhuǎn)換得到人在地面上的投影，即我需要使用的深度信息。
---------------------
作者：Array03
來源：CSDN
原文：https://blog.csdn.net/u014629875/article/details/51340144
版權(quán)聲明：本文為博主原創(chuàng)文章，轉(zhuǎn)載請附上博文鏈接！