色は光の三原色(赤・緑・青)であらわすことができます。
rgb.svg
ビデオメモリ上ではRGB形式で格納されています。一方MPEGやJPEGではYUV形式で表現されています。
人間の目は色の種類より輝度(明るさ)に敏感であることを利用したものです。よって、赤テレビや、緑テレビ、青テレビではなく、白黒テレビが作られたわけです。MPEGでは輝度情報は1ピクセルごと、色情報は4ピクセルごとと情報量に差をつけています。
RGB・YUV変換には定まった式がありませんが、一例として下式を挙げます。SMPTE170M(動画・テレビ技術者協会)

RGB→YUV変換

輝度 Y=0.299*R+0.587*G+0.114*B
色差 Cb=0.564*(B-Y)
    Cr=0.713*(R-Y)

YUV→RGB変換

R=Y+1.402*Cr
G=Y-0.714*Cr-0.344*Cb
B=Y+1.722*Cb