還沒有發明的時候，人類已經懂得使用三原色光調配出所有顏色的光。并不是說三原色混合后產生了新的頻率的光，而是給人眼睛的感覺是這樣。
在顯示器發明之后，從黑白顯示器發展到彩色顯示器，人們開始使用發出不同顏色的光的熒光粉（CRT，等離子體顯示器），或者不同顏色的濾色片（LCD），或者不同顏色的半導體發光器件（OLED和LED大型全彩顯示牌）來形成色彩，無一例外的選擇了Red,Green,Blue這3種顏色的發光體作為基本的發光單元。通過控制他們發光強度，組合出了人眼睛能夠感受到的大多數的自然色彩。
計算機顯示彩色圖像的時候也不例外，最終顯示的時候，要控制一個像素中Red,Green,Blue的值，來確定這個像素的顏色。計算機中無法模擬連續的存儲從最暗到最亮的量值，而只能以數字的方式表示。于是，結合人眼睛的敏感程度，使用3個字節（3*8位）來分別表示一個像素里面的Red,Green和Blue的發光強度數值，這就是常見的RGB格式。我們可以打開畫圖板，在自定義顏色工具框中，輸入r,g,b值，得到不同的顏色。
但是對于視頻捕獲和編解碼等應用來講，這樣的表示方式數據量太大了。需要想辦法在不太影響感覺的情況下，對原始數據的表示方法進行更改，減少數據量。
無論中間處理過程怎樣，最終都是為了展示給人觀看，這樣的更改，也是從人眼睛的特性出發，和發明RGB三原色表示方法的出發點是一樣的。
于是我們使用Y,Cb,Cr模型來表示顏色。Iain的書中寫道：The human visual system (HVS) is less sensitive to colour than to luminance (brightness).人類視覺系統（其實就是人的眼睛）對亮度的感覺比對顏色更加敏感。
在RGB色彩空間中，三個顏色的重要程度相同，所以需要使用相同的分辨率進行存儲，最多使用RGB565這樣的形式減少量化的精度，但是3個顏色需要按照相同的分辨率進行存儲，數據量還是很大的。所以，利用人眼睛對亮度比對顏色更加敏感，將圖像的亮度信息和顏色信息分離，并使用不同的分辨率進行存儲，這樣可以在對主觀感覺影響很小的前提下，更加有效的存儲圖像數據。
YCbCr色彩空間和它的變形（有時被稱為YUV）是最常用的有效的表示彩色圖像的方法。Y是圖像的亮度（luminance/luma）分量，使用以下公式計算，為R,G,B分量的加權平均值：
Y = kr R + kgG + kbB
其中k是權重因數。
上面的公式計算出了亮度信息，還有顏色信息，使用色差（color difference/chrominance或chroma）來表示，其中每個色差分量為R,G,B值和亮度Y的差值：
Cb = B －Y
Cr = R －Y
Cg = G－ Y
其中，Cb+Cr+Cg是一個常數（其實是一個關于Y的表達式），所以，只需要其中兩個數值結合Y值就能夠計算出原來的RGB值。所以，我們僅保存亮度和藍色、紅色的色差值，這就是(Y,Cb,Cr)。
相比RGB色彩空間，YCbCr色彩空間有一個顯著的優點。Y的存儲可以采用和原來畫面一樣的分辨率，但是Cb,Cr的存儲可以使用更低的分辨率。這樣可以占用更少的數據量，并且在圖像質量上沒有明顯的下降。所以，將色彩信息以低于量度信息的分辨率來保存是一個簡單有效的圖像壓縮方法。
在COLOUR SPACES .17 ITU-R recommendation BT.601 中，建議在計算Y時，權重選擇為kr=0.299,kg=0.587,kb=0.114。于是常用的轉換公式如下：
Y = 0.299R + 0.587G + 0.114B
Cb = 0.564(B － Y )
Cr = 0.713(R － Y )
R = Y + 1.402Cr
G = Y - 0.344Cb - 0.714Cr
B = Y + 1.772Cb
有了這個公式，我們就能夠將一幅RGB畫面轉換成為YUV畫面了，反過來也可以。下面將畫面數據究竟是以什么形式存儲起來的。
在RGB24格式中，對于寬度為w,高度為h的畫面，需要w*h*3個字節來存儲其每個像素的rgb信息，畫面的像素數據是連續排列的。按照r(0,0),g(0,0),b(0,0);r(0,1),g(0,1),b(0,1);…;r(w-1,0),g(w-1,0),b(w-1,0);…;r(w-1,h-1),g(w-1,h-1),b(w-1,h-1)這樣的順序存放起來。
在YUV格式中，以YUV420格式為例。寬度為w高度為h的畫面，其亮度Y數據需要w*h個字節來表示（每個像素點一個亮度）。而Cb和Cr數據則是畫面中4個像素共享一個Cb,Cr值。這樣Cb用w*h/4個字節，Cr用w*h/4個字節。
YUV文件中，把多個幀的畫面連續存放。就是YUV YUV YUV…..這樣的不斷連續的形式，而其中每個YUV，就是一幅畫面。
在這單個YUV中，前w*h個字節是Y數據，接著的w*h/4個字節是Cb數據，再接著的w*h/4個字節為Cr數據。
在由這樣降低了分辨率的數據還原出RGB數據的時候，就要依據像素的位置找到它對應的Y,Cb,Cr值，其中Y值最好找到，像素位置為x,y的話，Y數據中第y*width+x個數值就是它的Y值。Cb和Cr由于是每2x2像素的畫面塊擁有一個，這樣Cb和Cr數據相當于兩個分辨率為w/2 * h/2的畫面，那么原來畫面中的位置為x,y的像素，在這樣的低分辨率畫面中的位置是x/2,y/2，屬于它的Cb,Cr值就在這個地方：(y/2)*(width/2)+(x/2)。
為了直觀起見，再下面的圖中，分別將Y畫面(Cb,Cr=0)和Cb,Cr畫面(Y=128)顯示出來，可見Cb,Cr畫面的分辨率是Y畫面的1/4。但是合成一個畫面之后，我們的眼睛絲毫感覺不到4個像素是共用一個Cb,Cr的。
Cb,Cr畫面
將Cb,Cr畫面放大觀察，里面顏色相同的塊都是2x2大小的。
附件為Windows Mobile上使用公式進行YUV到RGB轉換的程序。其中需要注意的是Cb,Cr在計算過程中是會出現負數的，但是從-128到127這些數值都用一個字節表示，讀取的時候就映射0到255這個區間，成為了無符號的值，所以要減去128，才能參與公式計算。這樣的運算有浮點運算，效率是比較低的，所以要提高效率的話，一般在實用程序中使用整數計算或者查表法來代替。還有，運算后的r,g,b可能會超過0-255的區間，作一個判斷進行調整就可以了。
不過這里面的YUV TO RGB的算法,效率實在是低,因為里面有了浮點運算,解一幀176*144的圖像大概需要400ms左右,這是無法忍受的,如果消除浮點運算,只需要10ms左右,效率的提升真是無法想象.所以大家還是避免在手機上面進行浮點運算.