色は光の三原色(赤・緑・青）であらわすことができます。

ビデオメモリ上ではRGB形式で格納されています。一方MPEGやJPEGではYUV形式で表現されています。
人間の目は色の種類より輝度（明るさ）に敏感であることを利用したものです。よって、赤テレビや、緑テレビ、青テレビではなく、白黒テレビが作られたわけです。MPEGでは輝度情報は１ピクセルごと、色情報は4ピクセルごとと情報量に差をつけています。
RGB・YUV変換には定まった式がありませんが、一例として下式を挙げます。SMPTE170M(動画・テレビ技術者協会)

輝度 Y=0.299*R+0.587*G+0.114*B
色差 Cb=0.564*(B-Y)
　　　 Cr=0.713*(R-Y)

R=Y+1.402*Cr
G=Y-0.714*Cr-0.344*Cb
B=Y+1.722*Cb