根據(jù)思科公司發(fā)布的視覺(jué)網(wǎng)絡(luò)指數(shù)[1],2022年視頻數(shù)據(jù)將占據(jù)全球網(wǎng)絡(luò)流量的82%以上;2023年4K分辨率的家用電視機(jī)比例預(yù)計(jì)將達(dá)到三分之二,而這些更高分辨率的電視需要更高質(zhì)量的視頻內(nèi)容才能發(fā)揮其全部潛力。產(chǎn)業(yè)發(fā)展需要新標(biāo)準(zhǔn)的支持。為了提高視頻壓縮效率、支持新應(yīng)用,2020年7月聯(lián)合視頻專家組JVET發(fā)布新一代視頻壓縮標(biāo)準(zhǔn)——多功能視頻編碼H.266/VVC(Versatile Video Coding)。
什么是H.266/VVC
視頻信號(hào)的數(shù)據(jù)量很大,如果不進(jìn)行壓縮就無(wú)法實(shí)現(xiàn)網(wǎng)絡(luò)傳輸和存儲(chǔ)。以一部時(shí)長(zhǎng)100分鐘、分辨率1920*1080、幀率30fps的電影為例,該電影的大小為1920*1080*30*12*100*60=521GB,這么龐大的數(shù)據(jù)量還僅僅只是視頻數(shù)據(jù),不包含音頻數(shù)據(jù)。新一代視頻編碼技術(shù)及標(biāo)準(zhǔn)應(yīng)運(yùn)而生。
最新的視頻編碼標(biāo)準(zhǔn)H.266/VVC是當(dāng)前最先進(jìn)的視頻壓縮技術(shù),較之于上一代標(biāo)準(zhǔn)H.265/HEVC,H.266/VVC的解碼效率提高了50%。也就是說(shuō),傳輸同樣一部90分鐘的電影,H.265/HEVC需要10GB的數(shù)據(jù),而H.266/VVC只需要5GB,節(jié)省了50%的帶寬和存儲(chǔ)空間,帶來(lái)了巨大的帶寬資源節(jié)省、傳輸和編解碼效率優(yōu)勢(shì)。
除了提高效率,H.266/VVC的另一個(gè)亮點(diǎn)在于“多功能”,其可以在很多應(yīng)用上發(fā)揮作用。2003年H.264/AVC發(fā)布時(shí),主要的應(yīng)用是高清視頻,包括720p、1080p以及DVD大小的視頻。到了2013年H.265/HEVC發(fā)布時(shí),主要的應(yīng)用除了高清,還有4K視頻和立體3D視頻。2022年視頻行業(yè)已經(jīng)面向8K時(shí)代邁進(jìn),用戶對(duì)屏幕分辨率、幀率、流暢度的要求越來(lái)越高。但是H.264/AVC、H.265/HEVC對(duì)8K的支持是非常困難的,在4K的支持上又存在瓶頸,原因是需要的帶寬太多了,存儲(chǔ)及傳輸能力支持不了。而H.266/VVC則具有高度的通用性,能夠滿足當(dāng)前和新興的主流媒體需求。其中包括具有SDR的超標(biāo)清和高清視頻,包括8K、16K、HDR、WCG等更高分辨率的視頻;云游戲;用于沉浸式和增強(qiáng)現(xiàn)實(shí)的360°視頻;以及需要超低延遲的應(yīng)用,例如無(wú)線顯示和在線游戲。
面向8K,助力元宇宙
2022年12月1日,中國(guó)電子信息產(chǎn)業(yè)發(fā)展研究院電子信息研究所首次發(fā)布《超高清視頻產(chǎn)業(yè)發(fā)展白皮書(2022年)》。白皮書顯示,2021年我國(guó)4K電視出貨量達(dá)2729萬(wàn)臺(tái),滲透率達(dá)71.1%;截至今年8月,我國(guó)千兆寬帶用戶數(shù)達(dá)7055萬(wàn)戶,百兆以上寬帶用戶占比達(dá)93.8%。白皮書預(yù)計(jì),2022年我國(guó)超高清視頻產(chǎn)業(yè)整體規(guī)模將超過(guò)3萬(wàn)億元。[2]隨著視頻技術(shù)從高清到超高清演進(jìn)、4K、360度全向視頻激增,芯片、內(nèi)容制作、顯示、傳輸?shù)犬a(chǎn)業(yè)鏈各環(huán)節(jié)都開(kāi)始加快升級(jí)步伐,廣播電視、教育醫(yī)療、流媒體等以視頻業(yè)務(wù)為核心的行業(yè)也在力求轉(zhuǎn)型。
H.266/VVC的出現(xiàn)為已有和新興的視頻應(yīng)用提供了更加強(qiáng)大的壓縮性能以及更加靈活易用的功能,其產(chǎn)品型態(tài)將廣泛觸及視頻產(chǎn)業(yè)鏈的各個(gè)環(huán)節(jié),包括視頻制作、視頻會(huì)議、直播、點(diǎn)播、HDR視頻、全向視頻,監(jiān)控視頻等,在設(shè)備上可以廣泛覆蓋手機(jī)、電腦、攝像頭、機(jī)頂盒、電視、頭戴式設(shè)備等多種終端設(shè)備。
H.266/VVC通過(guò)提高壓縮效率,可以降低用戶及中間各環(huán)節(jié)中廠家的存儲(chǔ)及帶寬成本,大幅度降低海量數(shù)據(jù)處理、數(shù)據(jù)分發(fā)成本以及網(wǎng)絡(luò)數(shù)據(jù)傳輸壓力,并大幅改善了數(shù)據(jù)延遲問(wèn)題。
這些技術(shù)優(yōu)勢(shì)都將有力推動(dòng)包括如流媒體、云視頻等相關(guān)產(chǎn)業(yè)的應(yīng)用發(fā)展。比如,未來(lái)AR/VR等沉浸式媒體應(yīng)用需要有高分辨率、低延時(shí)和高質(zhì)量視頻的支持,這些應(yīng)用將廣泛的分布在虛擬游戲、廣告、元宇宙等行業(yè)中;更完善的超高清產(chǎn)業(yè)鏈將進(jìn)一步培養(yǎng)用戶的消費(fèi)習(xí)慣,當(dāng)前的直播電商在未來(lái)可能還會(huì)有更多的想象空間,比如更真實(shí)的試裝換裝體驗(yàn);不僅如此,遠(yuǎn)程醫(yī)療、移動(dòng)手術(shù)臺(tái)也可能大規(guī)模推行,幫助解決醫(yī)療擠兌問(wèn)題。H.266/VVC為這些新型應(yīng)用打下了實(shí)現(xiàn)基礎(chǔ)。
標(biāo)準(zhǔn)制定,從追隨到引導(dǎo)
國(guó)際主流的視頻編碼標(biāo)準(zhǔn)基本是由國(guó)際電信聯(lián)盟ITU,以及國(guó)際化標(biāo)準(zhǔn)組織ISO和國(guó)際電工委員會(huì)IEC聯(lián)合成立的專家組MPEG提出的。從20世紀(jì)90年代的第一代視頻編碼標(biāo)準(zhǔn)H.261/MPEG-1到最新標(biāo)準(zhǔn)H.266/VVC,已經(jīng)過(guò)去三十多年。
在標(biāo)準(zhǔn)制定過(guò)程中,全球企業(yè)、單位都可以通過(guò)提交技術(shù)提案方式來(lái)貢獻(xiàn)自己的創(chuàng)新技術(shù)方案,技術(shù)方案可能涉及到視頻編解碼實(shí)現(xiàn)過(guò)程的方方面面。全球參與標(biāo)準(zhǔn)制定的視頻領(lǐng)域?qū)<覍?duì)技術(shù)提案中技術(shù)方案的包括實(shí)現(xiàn)復(fù)雜度、壓縮性能、硬件實(shí)現(xiàn)等方面綜合評(píng)估,評(píng)估通過(guò)后技術(shù)才會(huì)被采納到標(biāo)準(zhǔn)當(dāng)中。進(jìn)入21世紀(jì)后,中國(guó)互聯(lián)網(wǎng)視頻行業(yè)高速發(fā)展,中國(guó)企業(yè)有足夠的動(dòng)力加入到標(biāo)準(zhǔn)的開(kāi)發(fā)工作中。
首先參與到標(biāo)準(zhǔn)制定工作的中國(guó)企業(yè)是作為全球通信方案解決商和國(guó)內(nèi)最大的視頻會(huì)議研發(fā)機(jī)構(gòu)——華為。
2010年,華為、高通、三星開(kāi)始牽頭開(kāi)展H.265/HEVC的制定工作。據(jù)統(tǒng)計(jì),H.265/HEVC專利的主要權(quán)利人集中在歐美、韓國(guó)和日本等國(guó)家,排名第一的是三星,占比11%,第二是高通,占比8%,第五是華為,占比5%。[3]2013年6月,在H.265/HEVC標(biāo)準(zhǔn)正式公布后兩個(gè)月,優(yōu)酷土豆發(fā)布聲明稱將與高通合作開(kāi)發(fā)H.265/HEVC技術(shù),讓用戶在移動(dòng)設(shè)備上看更高質(zhì)量的視頻內(nèi)容。到了H.265/HEVC時(shí)代,無(wú)論是標(biāo)準(zhǔn)的開(kāi)發(fā),還是商業(yè)化產(chǎn)品的研發(fā),我國(guó)企業(yè)都開(kāi)始慢慢走向上游。
近年來(lái),H.265/HEVC編解碼器市場(chǎng)容量日趨增長(zhǎng)。據(jù)報(bào)道,截至2020年12月,在超高清論壇發(fā)布的UHD服務(wù)追蹤器中確定的幾乎所有超高清電視服務(wù)都在使用H.265/HEVC。在網(wǎng)站上明確確定了編碼格式的60個(gè)此類服務(wù)中,有58個(gè)使用的是H.265/HEVC。[4]一方面,4K頻道的建設(shè),同時(shí)刺激各地有線網(wǎng)絡(luò)以及IPTV頻道落地接收運(yùn)營(yíng);另一方面,頭部互聯(lián)網(wǎng)視頻企業(yè)對(duì)于超高清版權(quán)賽事、大型綜藝活動(dòng)等超高清直播運(yùn)營(yíng)的需求日益增長(zhǎng),全面助力H.265/HEVC編解碼產(chǎn)品市場(chǎng)的擴(kuò)大。[5]隨著 H.265/HEVC的商業(yè)化落地,視頻產(chǎn)業(yè)正式進(jìn)入超高清時(shí)代。
每一代視頻編碼標(biāo)準(zhǔn)的制定周期約為8-10年,作為H.265/HEVC的繼任者,2017年10月,H.266/VVC標(biāo)準(zhǔn)化工作正式開(kāi)始,JVET發(fā)布了提案征集(call for proposal, CFP);2018年4月,JVET發(fā)布了H.266/VVC的第一版工作草案。根據(jù)H.264/AVC以及H.265/HEVC的市場(chǎng)滲透情況,未來(lái)H.266/VVC的應(yīng)用推廣將是非常明確的趨勢(shì)。因此在H.266/VVC第一版草案發(fā)布之前,各國(guó)企業(yè)就開(kāi)始盡可能的申請(qǐng)專利,以期在不久后擁有一項(xiàng)或多項(xiàng)標(biāo)準(zhǔn)必要專利。
根據(jù)2022年12月Managing IP發(fā)布的業(yè)界首個(gè)H.266/VVC專利數(shù)據(jù)統(tǒng)計(jì)報(bào)告,H.266/VVC專利的領(lǐng)頭申請(qǐng)者包括華為、高通、LG和字節(jié)跳動(dòng)等創(chuàng)新公司。就H.266/VVC相關(guān)專利數(shù)量而言,華為專利占比17.31%排名第一,LG占比12.39%排名第二,高通占比10.9%排名第三,字節(jié)跳動(dòng)、騰訊分別排名第四、第七。[6]
事實(shí)上從2015年開(kāi)始,華為及國(guó)內(nèi)其他互聯(lián)網(wǎng)廠商字節(jié)跳動(dòng)、騰訊、阿里巴巴、快手等就已經(jīng)積極參與到H.266/VVC的標(biāo)準(zhǔn)化制定過(guò)程中并做出了巨大貢獻(xiàn),標(biāo)準(zhǔn)制定期間提交并被采納了大量H.266/VVC技術(shù)提案,推動(dòng)了H.266/VVC標(biāo)準(zhǔn)化進(jìn)程。以華為為例,華為H.266/VVC提案貢獻(xiàn)率排名第二,累計(jì)提交技術(shù)提案426件[8],其中126項(xiàng)技術(shù)被采納。其提出了包括:仿射運(yùn)動(dòng)補(bǔ)償技術(shù)(JVET-K0184)[9];幾何劃分模式(JVET-Q0059)[10]等技術(shù)工具。字節(jié)跳動(dòng)也提出了如“基于歷史的運(yùn)動(dòng)矢量預(yù)測(cè)(JVET-K0104)[11]”等技術(shù)工具。上述提案都是被H.266/VVC標(biāo)準(zhǔn)采納的核心技術(shù)方案,有助于大大提高視頻編解碼效率和視頻質(zhì)量。
不僅如此,中國(guó)企業(yè)在標(biāo)準(zhǔn)制定組織中的話語(yǔ)權(quán)也有了顯著的提升。華為在H.266/VVC標(biāo)準(zhǔn)會(huì)議中獲得標(biāo)準(zhǔn)編輯、核心實(shí)驗(yàn)組組長(zhǎng)等多個(gè)重要職位,騰訊、阿里巴巴的專家也在標(biāo)準(zhǔn)組織中擔(dān)任重要席位。
從標(biāo)準(zhǔn)專利權(quán)利人及專利占比數(shù)據(jù)上看,高通、LG等企業(yè)專利占比一直位列前茅,華為、字節(jié)跳動(dòng)、騰訊、阿里巴巴、快手也逐步成為新一代標(biāo)準(zhǔn)制定的主導(dǎo)者。多年來(lái),以華為為代表的我國(guó)企業(yè)在不斷地進(jìn)行視頻編碼技術(shù)研究,抓住時(shí)機(jī)去參與和制定符合產(chǎn)業(yè)兌現(xiàn)知識(shí)產(chǎn)權(quán)價(jià)值的策略和規(guī)則,努力地?cái)U(kuò)大國(guó)內(nèi)企業(yè)在國(guó)際標(biāo)準(zhǔn)制定和在標(biāo)準(zhǔn)實(shí)施推廣過(guò)程中的影響力。從H.264到H.266,我國(guó)企業(yè)的身份開(kāi)始從“追隨”向“引導(dǎo)”進(jìn)階,從單純的實(shí)施者轉(zhuǎn)變成為新標(biāo)準(zhǔn)制定的重要貢獻(xiàn)者,成為影響行業(yè)未來(lái)發(fā)展的創(chuàng)新者。
三流企業(yè)賣產(chǎn)品,二流企業(yè)賣品牌,一流企業(yè)賣標(biāo)準(zhǔn)。引領(lǐng)產(chǎn)業(yè)發(fā)展最重要的因素是確保世界各國(guó)日新月異的技術(shù)和設(shè)備能夠相互聯(lián)通的行業(yè)技術(shù)標(biāo)準(zhǔn),誰(shuí)的標(biāo)準(zhǔn)被認(rèn)同,誰(shuí)就是游戲規(guī)則的制定者。20世紀(jì)以來(lái),視頻編碼技術(shù)在社會(huì)需求的催生下獲得快速發(fā)展,中國(guó)企業(yè)從后端逐漸走向前端,除華為外,字節(jié)跳動(dòng)、騰訊、阿里等公司也開(kāi)始加入到標(biāo)準(zhǔn)制定工作中,中國(guó)企業(yè)開(kāi)始主導(dǎo)新一代標(biāo)準(zhǔn)制定和發(fā)展的方向。華為公司無(wú)線技術(shù)知識(shí)產(chǎn)權(quán)部部長(zhǎng)汪昕曾表示:“視頻編解碼是ICT行業(yè)的基礎(chǔ)性平臺(tái)技術(shù),華為積極參與視頻編解碼標(biāo)準(zhǔn)制定和推動(dòng)視頻產(chǎn)業(yè)進(jìn)步和升級(jí),對(duì)視頻標(biāo)準(zhǔn)技術(shù)的研發(fā)創(chuàng)新和知識(shí)產(chǎn)權(quán)保護(hù)在全球處于領(lǐng)先地位?!?br>
2020年,我國(guó)超高清視頻產(chǎn)業(yè)總規(guī)模達(dá)1.8萬(wàn)億元,其中超高清視頻核心環(huán)節(jié)直接銷售收入超過(guò)8100億元,行業(yè)應(yīng)用規(guī)模超過(guò)9800億元,其硬件直接銷售收入約900億元,解決、集成方案等超過(guò)8900億元。超高清時(shí)代即將全面來(lái)臨,下一代視頻行業(yè)的競(jìng)爭(zhēng)剛剛拉開(kāi)序幕,值得欣慰的是,中國(guó)企業(yè)已經(jīng)在最開(kāi)始就做好了準(zhǔn)備。
注釋:
1.https://www.cisco.com/c/en/us/solutions/collateral/executive-perspectives/annual-internet-report/white-paper-c11-741490.html
2.http://www.stcn.com/article/detail/746419.html
3.https://www.ipwatchdog.com/2018/07/11/high-efficiency-video-coding-video-ecosystem-evolving/id=99094/
4.“Deployment status of the HEVC standard”,Document: JVET-AB0020-v1
5. 《中國(guó)超高清視頻產(chǎn)業(yè)發(fā)展白皮書(2021 年)》
6.https://www.managingip.com/article/2b0daxa7pfkbvl9up8ruo/sponsored-content/the-versatile-video-coding-standard-is-now-open-for-business
7.https://www.iam-media.com/article/who-leading-the-vvc-technology-race
8.https://jvet-experts.org/
9.https://jvet-experts.org/doc_end_user/documents/11_Ljubljana/wg11/JVET-K0184-v1.zip
10.https://jvet-experts.org/doc_end_user/documents/17_Brussels/wg11/JVET-Q0059-v8.zip
11.https://jvet-experts.org/doc_end_user/documents/11_Ljubljana/wg11/JVET-K0104-v5.zip
(本文僅代表作者個(gè)人觀點(diǎn),不代表知產(chǎn)財(cái)經(jīng)立場(chǎng))