H.264/AVC 是ITU-T VCEG 和ISO/IEC MPEG 共同開發(fā)的視頻處理標(biāo)準(zhǔn)，ITU-T作為標(biāo)準(zhǔn)建議H.264，ISO/IEC作為國際標(biāo)準(zhǔn)14496-10（MPEG-4 第10部分）高級(jí)視頻編碼（AVC）。 

    MPEG-2視頻編碼標(biāo)準(zhǔn)（又稱為ITU-T H.262[2]）已有10年的歷史了，由MPEG-1擴(kuò)充而來，支持隔行掃描。使用十分廣泛，幾乎用于所有的數(shù)字電視系統(tǒng)，適合標(biāo)清和高清電視，適合各種媒體傳輸，包括衛(wèi)星、有線、地面等，都能有效地傳輸。然而，類似xDSL、UMTS（通用移動(dòng)系統(tǒng)）技術(shù)只能提供較小的傳輸速率，甚至DVB-T，也沒有足夠的頻段可用，提供的節(jié)目很有限，隨著高清電視的引入，迫切需要高壓縮比技術(shù)的出現(xiàn)。 

    應(yīng)用于電信的視頻編碼經(jīng)歷了ITUT H.261、H.262（MPEG-2）、H.263、H.263+、H.263++，提供的服務(wù)從ISDN和T1/E1到PSTN、移動(dòng)無線網(wǎng)和LAN/INTERNET網(wǎng)。 

    最近MPEG-4 第二部分進(jìn)入了實(shí)用領(lǐng)域，提供了視頻形狀編碼，目標(biāo)是與MPEG-2一樣獲得廣泛的數(shù)字電視應(yīng)用。 

    1998年，視頻編碼專家組（VCEG-ITU-T SG16 Q.6）啟動(dòng)了H.26L工程，旨在研制出新的壓縮標(biāo)準(zhǔn)，與以前的任何標(biāo)準(zhǔn)相比，效率要提高一倍，同時(shí)具有簡單、直觀的視頻編碼技術(shù)，網(wǎng)絡(luò)友好的視頻描述，適合交互和非交互式應(yīng)用（廣播、存儲(chǔ)、流煤體）。 

    2001年12月，VCEG和運(yùn)動(dòng)圖像專家組（MPEG-ISO/IEC JTC 1/SC 29/WG 11）組成了聯(lián)合視頻組（JVT，Joint Video Team），研究新的編碼標(biāo)準(zhǔn)H.264/AVC，該標(biāo)準(zhǔn)于2003年3月正式獲得批準(zhǔn)。

    視頻的各種應(yīng)用必須通過各種網(wǎng)絡(luò)傳送，這要求一個(gè)好的視頻方案能處理各種應(yīng)用和網(wǎng)絡(luò)接口。H.264/AVC為了解決這個(gè)問題，提供了很多靈活性和客戶化特性。H.264/AVC的設(shè)計(jì)方案包含兩個(gè)層次，視頻編碼層（VCL，Video Coding Layer）和網(wǎng)絡(luò)抽象層（NAL，Network Abstraction Layer）。視頻編碼層主要致力于有效地表示視頻內(nèi)容，網(wǎng)絡(luò)抽象層格式化VCL視頻表示，提供頭部信息，適合多種傳輸和存儲(chǔ)媒體。 

    VCL的設(shè)計(jì)同以前的ITU-T和 ISO/IEC JTC一樣，基于塊的混合視頻編碼方法?；镜脑淳幋a算法是： 利用時(shí)間統(tǒng)計(jì)的相關(guān)性，開發(fā)幀間預(yù)測算法；利用預(yù)測殘留變換編碼，開發(fā)空間統(tǒng)計(jì)的相關(guān)性。在提高編碼效率方面，沒有一個(gè)單一的算法做出特別的貢獻(xiàn)，而是大量的小的改善算法綜合產(chǎn)生的結(jié)果。

    一 主要特性 

    1. H.264/AVC相對(duì)以前的編碼方法，以MPEG-2為例，在圖像內(nèi)容預(yù)測方面提高編碼效率，改善圖像質(zhì)量的主要特點(diǎn)如下： 

    ● 可變塊大小運(yùn)動(dòng)補(bǔ)償： 選擇運(yùn)動(dòng)補(bǔ)償大小和形狀比以前的標(biāo)準(zhǔn)更靈活，最小的亮度運(yùn)動(dòng)補(bǔ)償塊可以小到4×4。 

    ● 1/4采樣精度運(yùn)動(dòng)補(bǔ)償：以前的標(biāo)準(zhǔn)最多1/2精度運(yùn)動(dòng)補(bǔ)償，首次1/4采樣精度運(yùn)動(dòng)補(bǔ)償出現(xiàn)在MPEG-4第二部分高級(jí)類部分，但H.264/AVC大大減少了內(nèi)插處理的復(fù)雜度。 

    ● 運(yùn)動(dòng)矢量可跨越圖像邊界：在以前的標(biāo)準(zhǔn)中，運(yùn)動(dòng)矢量限制在已編碼參考圖像的內(nèi)部。圖像邊界外推法作為可選技術(shù)首次出現(xiàn)在H.263中。 

    ● 多參考圖像運(yùn)動(dòng)補(bǔ)償：在MPEG-2及以前的標(biāo)準(zhǔn)中，P幀只使用一幀，B幀只使用兩幀圖像進(jìn)行預(yù)測。H.264/AVC使用高級(jí)圖像選擇技術(shù)，可以用以前已編碼過且保留在緩沖區(qū)的大量的圖像進(jìn)行預(yù)測，大大提高了編碼效率。 

    ● 消除參考圖像順序和顯示圖像順序的相關(guān)性：在以前的標(biāo)準(zhǔn)中，參考圖像順序依賴顯示圖像順序，H.264/AVC消除了該限制，可以任意選擇。 

    ● 消除參考圖像與圖像表示方法的限制：在以前的標(biāo)準(zhǔn)中，B幀圖像不能作為預(yù)測圖像，H.264/AVC 在很多情況可以利用B幀圖像作為參考。 

    ● 加權(quán)預(yù)測： H.264/AVC采用新技術(shù)，允許加權(quán)運(yùn)動(dòng)補(bǔ)償預(yù)測和偏移一定量。在淡入淡出場景中該技術(shù)極大提高編碼效率，該技術(shù)還可用于其他多種用途。 

    ● 改善“跳過”和“直接”運(yùn)動(dòng)推測：在以前的標(biāo)準(zhǔn)中，預(yù)測編碼圖像的“跳過”區(qū)不能有運(yùn)動(dòng)。當(dāng)編碼有全局運(yùn)動(dòng)的圖像時(shí)，該限制非常有害。H.264/AVC對(duì)“跳過”區(qū)的運(yùn)動(dòng)采用推測方法。對(duì)雙預(yù)測的B幀圖像，采用高級(jí)運(yùn)動(dòng)預(yù)測方法，稱為“直接”運(yùn)動(dòng)補(bǔ)償，進(jìn)一步改善編碼效率。 

    ● 幀內(nèi)編碼直接空間預(yù)測： 將編碼圖像邊沿進(jìn)行外推應(yīng)用到當(dāng)前幀內(nèi)編碼圖像的預(yù)測。 

    ● 循環(huán)去塊效應(yīng)濾波器： 基于塊的視頻編碼在圖像中存在塊效應(yīng)，主要來源于預(yù)測和殘余編碼。自適應(yīng)去塊效應(yīng)濾波技術(shù)是非常著名的技術(shù)，能有效消除塊效應(yīng)，改善視頻的主觀和客觀質(zhì)量。 

    2. 除改善預(yù)測方法外，其他改善編碼效率的特性如下： 

    ● 小塊變換： 以前的標(biāo)準(zhǔn)變換的塊都是8×8，H.264/AVC主要使用4×4塊變換，使編碼器表示信號(hào)局部適應(yīng)性更好，更適合預(yù)測編碼，減少“鈴”效應(yīng)。另外圖像邊界需要小塊變換。 

    ● 分級(jí)塊變換： H.264/AVC通常使用小塊變換，但有些信號(hào)包含足夠的相關(guān)性，要求以大塊表示，H.264/AVC有兩種方式實(shí)現(xiàn)。低頻色度信號(hào)可用8×8，；對(duì)幀內(nèi)編碼，可使用特別的編碼類型，低頻亮度信號(hào)可用16×16塊。 

    ● 短字長變換： 所有以前標(biāo)準(zhǔn)使用的變換要求32位運(yùn)算，H.264/AVC只使用16位運(yùn)算。 

    ● 完全匹配反變換： 所有以前標(biāo)準(zhǔn)反變換和變換之間存在一定容限的誤差，因此，每個(gè)解碼器輸出視頻信號(hào)都不相同，產(chǎn)生小的漂移，最終影響圖像的質(zhì)量，H.264/AVC實(shí)現(xiàn)了完全匹配。 

    ● 基于上下文的熵編碼： H.264/AVC使用兩種熵編碼方法，CAVLC（上下文自適應(yīng)的可變長編碼）和CABAC（上下文自適應(yīng)二進(jìn)制算術(shù)編碼），兩種都是基于上下文的熵編碼技術(shù)。 

    3. H.264/AVC具有強(qiáng)大的糾錯(cuò)功能和各種網(wǎng)絡(luò)環(huán)境操作靈活性，主要特性如下： 

    ● 參數(shù)集結(jié)構(gòu)：H.264/AVC參數(shù)集結(jié)構(gòu)設(shè)計(jì)了強(qiáng)大、有效的傳輸頭部信息。在以前的標(biāo)準(zhǔn)中，如果少數(shù)幾位關(guān)鍵信息丟失，可能解碼器產(chǎn)生嚴(yán)重解碼錯(cuò)誤。H.264/AVC采用很靈活、特殊的方式，分開處理關(guān)鍵信息，能在各種環(huán)境下可靠傳送。 

    ● NAL單元語法結(jié)構(gòu)：H.264/AVC中的每一個(gè)語法結(jié)構(gòu)放置在稱為NAL的單元中，以前的標(biāo)準(zhǔn)采用強(qiáng)制性特定的位流接口。NAL單元語法結(jié)構(gòu)允許很自由的客戶化，幾乎適合所有的網(wǎng)絡(luò)接口。 

    ● 靈活的像條大?。涸贛PEG-2中，規(guī)定了嚴(yán)格的像條結(jié)構(gòu)，頭部數(shù)據(jù)量大，降低預(yù)測效率，編碼效率低。在H.264/AVC可采用非常靈活的像條大小。 

    ● 靈活宏塊排序（FMO）：H.264/AVC可以將圖像劃分為像條組，又稱為圖像區(qū)，每個(gè)像條可以獨(dú)立解碼。FMO通過管理圖像區(qū)之間的關(guān)系，具有很強(qiáng)的抗數(shù)據(jù)丟失能力。 

    ● 任意像條排序：因?yàn)槊總€(gè)像條幾乎可以獨(dú)立解碼，所以像條可以按任意順序發(fā)送和接收，在實(shí)時(shí)應(yīng)用中，可以改善端到端的延時(shí)特性，特別適合于接收順序和發(fā)送順序不能對(duì)應(yīng)的網(wǎng)絡(luò)中，如使用INTERNET網(wǎng)絡(luò)協(xié)議的應(yīng)用。 

    ● 冗余圖像：為提高抗數(shù)據(jù)丟失的能力，H.264/AVC設(shè)計(jì)中包含一種新的能力，允許編碼器發(fā)送圖像區(qū)的冗余表示，當(dāng)圖像區(qū)的主表示丟失時(shí)仍可以正確解碼。 

    ● 數(shù)據(jù)劃分：視頻流中的編碼信息的重要性不同，有些信息（如運(yùn)動(dòng)矢量、預(yù)測信息等）比其他信息更為重要。H.264/AVC可以根據(jù)每個(gè)像條語法元素的范疇，將像條語法劃分為3部分，分開傳送。 

    二 網(wǎng)絡(luò)層 

    NAL規(guī)范視頻數(shù)據(jù)的格式，主要是提供頭部信息，以適合各種媒體的傳輸和存儲(chǔ)。NAL支持各種網(wǎng)絡(luò)，包括： 

    ● 任何使用RTP/IP協(xié)議的實(shí)時(shí)有線和無線Internet 服務(wù)。 

    ● 作為MP4文件存儲(chǔ)和多媒體信息文件服務(wù)。 

    ● MPEG-2系統(tǒng)。 

    ● 其他網(wǎng)。 

    1. NAL 單元 

    編碼的視頻流組織成NAL單元，視頻數(shù)據(jù)放置在網(wǎng)絡(luò)單元中傳輸，每個(gè)網(wǎng)絡(luò)單元包含整數(shù)個(gè)字節(jié)，第一個(gè)字節(jié)是頭部信息，指示NAL單元的數(shù)據(jù)類型，其余是凈荷。 

    凈荷數(shù)據(jù)與仿真預(yù)防字節(jié)做交織處理，仿真預(yù)防字節(jié)是特殊值字節(jié)，防止偶然在凈荷中出現(xiàn)同步字節(jié)圖樣。 

    NAL規(guī)定一種通用的格式，既適合面向包傳輸，也適合流傳送。實(shí)際上，包傳輸和流傳輸?shù)姆绞绞窍嗤?，不同之處是流傳輸前面增加了一個(gè)起始碼前綴。 

    2. NAL單元在字節(jié)流中的應(yīng)用 

    類似H.320和MPEG-2/H.222.0等傳輸系統(tǒng)，傳輸NAL作為有序連續(xù)字節(jié)或比特流，同時(shí)要依靠數(shù)據(jù)本身識(shí)別NAL單元邊界。在這樣的應(yīng)用系統(tǒng)中，H.264/AVC規(guī)范定義了字節(jié)流格式，每個(gè)NAL單元前面增加3個(gè)字節(jié)的前綴，即同步字節(jié)。在比特流應(yīng)用中，每個(gè)圖像需要增加一個(gè)附加字節(jié)作為邊界定位。還有一種可選特性，在字節(jié)流中增加附加數(shù)據(jù)，用做擴(kuò)充發(fā)送數(shù)據(jù)量，能實(shí)現(xiàn)快速邊界定位，恢復(fù)同步。 

    3. NAL單元在面向包傳送中的應(yīng)用 

    在類似Internet/RTP面向包傳送協(xié)議系統(tǒng)中，包結(jié)構(gòu)中包含包邊界識(shí)別字節(jié)，在這種情況下，不需要同步字節(jié)。 

    4. VCL和非VCL的NAL單元 

    NAL單元分為VCL和非VCL兩種，VCL NAL單元包含視頻圖像采樣信息，非VCL包含各種有關(guān)的附加信息，例如參數(shù)集（頭部信息，應(yīng)用到大量的VCL NAL單元）、提高性能的附加信息、定時(shí)信息等。 

    5. 參數(shù)集 

    參數(shù)集是很少變化的信息，用于大量VCL NAL單元的解碼，分為兩種類型： 

    ● 序列參數(shù)集，作用于一串連續(xù)的視頻圖像，即視頻序列。 

    ● 圖像參數(shù)集，作用于視頻序列中的一個(gè)或多個(gè)個(gè)別的圖像。 

    序列和圖像參數(shù)集機(jī)制，減少了重復(fù)參數(shù)的傳送，每個(gè)VCL NAL單元包含一個(gè)標(biāo)識(shí)，指向有關(guān)的圖像參數(shù)集，每個(gè)圖像參數(shù)集包含一個(gè)標(biāo)識(shí)，指向有關(guān)的序列參數(shù)集的內(nèi)容，因此，只用少數(shù)的指針信息，引用大量的參數(shù)，大大減少每個(gè)VCL NAL單元重復(fù)傳送的信息。 

    序列和圖像參數(shù)集可以在發(fā)送VCL NAL單元以前發(fā)送，并且重復(fù)傳送，大大提高糾錯(cuò)能力。序列和圖像參數(shù)集可以在“帶內(nèi)”，也可以用更為可靠的其他“帶外”通道傳送。 

    6. 存儲(chǔ)單元 

    一組指定格式的NAL單元稱為存儲(chǔ)單元，每個(gè)存儲(chǔ)單元對(duì)應(yīng)一個(gè)圖像。每個(gè)存儲(chǔ)單元包含一組VCL NAL單元，組成一個(gè)主編碼圖像，VCL NAL單元由表示視頻圖像采樣的像條所組成。存儲(chǔ)單元前面可以加一個(gè)前綴，分界存儲(chǔ)單元，附加增強(qiáng)信息（SEI）（如圖像定時(shí)信息）也可以放在主編碼圖像的前面。 

    主編碼圖像后附加的VCL NAL單元，包含同一圖像的冗余表示，稱為冗余編碼圖像，當(dāng)主編碼圖像數(shù)據(jù)丟失或損壞時(shí)，可用冗余編碼圖像解碼。 

    7. 編碼視頻序列 

    一個(gè)編碼視頻序列由一串連續(xù)的存儲(chǔ)單元組成，使用同一序列參數(shù)集。每個(gè)視頻序列可獨(dú)立解碼。編碼序列的開始是即時(shí)刷新存儲(chǔ)單元（IDR）。IDR是一個(gè)I幀圖像，表示后面的圖像不用參考以前的圖像。一個(gè)NAL單元流可包含一個(gè)或更多的編碼視頻序列。

新標(biāo)準(zhǔn)類的使用領(lǐng)域

    H.264/AVC的高壓縮效率，擴(kuò)充了現(xiàn)有的應(yīng)用領(lǐng)域，至少包含以下領(lǐng)域：

    （1）交互視頻服務(wù)，通常速率1Mbps以下，低延遲。ITU-T SG16正在修改有關(guān)系統(tǒng)建議， IETF正在設(shè)計(jì)RTP凈荷打包器，以支持H.264/AVC在交互視頻方面的應(yīng)用。近期主要利用基類，然后過渡到另兩類。主要應(yīng)用如下：

    H.320 交互式視頻服務(wù)，利用基于ISDN視頻會(huì)議的電路交換；

    3 GPP交互式H.324/M服務(wù)；

    H.323交互式視頻服務(wù)，基于INTERNET，利用IP/RTP協(xié)議。

    （2）娛樂視頻應(yīng)用，1Mbps～8Mbps碼率，0.5 到 2秒中等時(shí)延。H.222.0|MPEG-2正在被修改以支持這方面的應(yīng)用，這些應(yīng)用主要利用主類，主要應(yīng)用如下：

    有線、衛(wèi)星、地面、DSL等廣播電視；

    標(biāo)清和高清DVD；

    通過各種媒體的視頻點(diǎn)播。

    （3）流媒體服務(wù)，典型50kbps 到1.5Mbps，2秒以上的時(shí)延，這些應(yīng)用主要利用基類或擴(kuò)展類。有線或無線使用情況有所不同，主要應(yīng)用如下：

    3GPP 流， 利用IP/RTP傳輸，RTSP作會(huì)話設(shè)置，3GPP規(guī)范的擴(kuò)充部分可能僅使用基類；

    有線INTERNET 流，利用IP/RTP傳輸，RTSP作會(huì)話設(shè)置。

    （4）其他服務(wù)，主要是低碼率，以文件傳送方式，不考慮時(shí)延，根據(jù)不同應(yīng)用，可能用到3類，主要應(yīng)用如下：

    3GPP 多媒體信息服務(wù)；

    視頻郵件。

    六 結(jié)論

    H.264代表了當(dāng)前業(yè)界最先進(jìn)的視頻壓縮技術(shù)，且具有以下無可比擬的優(yōu)越性。

    1. 碼率低：和MPEG-2等壓縮技術(shù)相比，在同等圖像質(zhì)量下，采用H.264技術(shù)壓縮后的數(shù)據(jù)量只有MPEG-2的1/2~1/3。顯然，H.264壓縮技術(shù)的采用將大大節(jié)省用戶的下載時(shí)間和數(shù)據(jù)流量收費(fèi)。

    2. 圖像質(zhì)量高：H.264能提供連續(xù)、流暢的高質(zhì)量圖像。

    3. 容錯(cuò)能力強(qiáng)：H.264提供了解決在不穩(wěn)定網(wǎng)絡(luò)環(huán)境下容易發(fā)生的丟包等錯(cuò)誤的必要工具。

    4. 網(wǎng)絡(luò)適應(yīng)性強(qiáng)：H.264提供了網(wǎng)絡(luò)適應(yīng)層， 使得H.264的文件能容易地在不同網(wǎng)絡(luò)上傳輸。

    H.264超越以往的視頻編解碼標(biāo)準(zhǔn)，成為各個(gè)廠商競爭的焦點(diǎn)。目前，各主流廠商紛紛宣布，已經(jīng)或?qū)⒃诿髂晖瞥霎a(chǎn)品化的H.264。在視頻廣播領(lǐng)域，美國哈雷公司宣布其產(chǎn)品MV100編碼器可以支持H.264協(xié)議，哈雷原來的MPEG-2編碼器MV100硬件平臺(tái)已經(jīng)兼容H.264能力，只需從軟件升級(jí)即可。在歐洲，有兩個(gè)用戶已經(jīng)選用了此種編碼器。其中一個(gè)是法國的衛(wèi)星及直播星運(yùn)營商CanalSatellite，它采用哈雷高性能的數(shù)字前端系統(tǒng)在ADSL上傳輸視頻業(yè)務(wù)，MV100超低碼率編碼能力可以實(shí)現(xiàn)在多種電信網(wǎng)上傳輸廣播級(jí)視頻節(jié)目。另外是第一個(gè)即將投入正式商業(yè)運(yùn)營的英國Video network limited

 

本文來自CSDN博客，轉(zhuǎn)載請(qǐng)標(biāo)明出處：http://blog.csdn.net/EricBaner/archive/2009/03/02/3950828.aspx