音王|沉浸式技術(shù)井噴,沉浸聲概念刷新劇場(chǎng)模式
來(lái)源:數(shù)字音視工程網(wǎng) (原創(chuàng)) 編輯:lsy631994092 2023-08-30 11:35:48 加入收藏
從央視春晚舞臺(tái)上栩栩如生的沉浸式演出到景區(qū)里科技感十足的沉浸式文化項(xiàng)目,近年來(lái),沉浸式成為了文化產(chǎn)業(yè)的熱門詞語(yǔ)。通過(guò)多媒體、虛擬現(xiàn)實(shí)、三維實(shí)境等聲光電技術(shù),沉浸式演出將傳統(tǒng)文藝表演的舞臺(tái)形式、視聽(tīng)效果提升到了新的層次,受到觀眾青睞,也打開(kāi)了文旅產(chǎn)業(yè)的新風(fēng)口。這不僅表現(xiàn)在市場(chǎng)風(fēng)向上,更表現(xiàn)在政策支持上。
據(jù)《“十四五”文化和旅游發(fā)展規(guī)劃》文件強(qiáng)調(diào),將在“十四五”期間完成“100個(gè)沉浸式體驗(yàn)項(xiàng)目”的目標(biāo)。此外,《關(guān)于進(jìn)一步激發(fā)文化和旅游消費(fèi)潛力的意見(jiàn)》也明確提出“促進(jìn)文化、旅游與現(xiàn)代技術(shù)相互融合,發(fā)展基于5G、超高清、增強(qiáng)現(xiàn)實(shí)、虛擬現(xiàn)實(shí)、人工智能等技術(shù)的新一代沉浸式體驗(yàn)型文化和旅游消費(fèi)內(nèi)容。”
技術(shù)發(fā)展、政策鼓勵(lì)、市場(chǎng)需求……多方利好因素造成了沉浸式的井噴,也引出了背后的聲光電產(chǎn)業(yè)。觀眾之所以能感受到身臨其境般的環(huán)繞聲以及虛實(shí)結(jié)合的空間畫面,全有賴于音視頻系統(tǒng)的支持。劇場(chǎng)劇院等演出行業(yè)作為沉浸式最直接的應(yīng)用場(chǎng)景之一,其音視頻系統(tǒng)設(shè)備更是凝聚了高端的沉浸式技術(shù)。其中,音頻系統(tǒng)所應(yīng)用的沉浸聲技術(shù)對(duì)聲場(chǎng)進(jìn)行本真還原,助力打造完美空間感,已成為劇院劇場(chǎng)不可或缺的重要設(shè)備。
關(guān)于沉浸聲的概念,目前有很多相關(guān)名詞,如電影領(lǐng)域里說(shuō)的全景聲(特指杜比全景聲)、多維聲(特指中國(guó)多維聲),廣播電視領(lǐng)域里說(shuō)的三維聲、3D Audio以及VR和游戲領(lǐng)域里說(shuō)的空間音頻,這些名詞都是指的沉浸聲系統(tǒng)。沉浸聲的技術(shù)主要有三大類:基于聲道的音頻(Channel-based Audio,CBA)、基于對(duì)象的音頻(Object-based Audio,OBA)和基于場(chǎng)景的音頻(Scene-based Audio,SBA)?;趯?duì)象的技術(shù)是目前主流的沉浸聲技術(shù),如電影領(lǐng)域的杜比全景聲、DTS∶X、AuroMAX、HoloSound、Wanos全景聲等,以及在廣播電視領(lǐng)域的MPEG-H、AVS2-P3等?;趫?chǎng)景的技術(shù)則主要用于游戲和VR領(lǐng)域。用于劇場(chǎng)劇院和演出行業(yè)的沉浸聲系統(tǒng),有的也使用高階Ambisonics(簡(jiǎn)稱HOA)技術(shù)作為底層技術(shù),如英國(guó)Cadac、音王等,還有的使用波場(chǎng)合成WFS技術(shù),如IOSONO、HOLOPHONIX、Astro Spatial Audio等。
從聲音重播效果來(lái)看,只有多聲道三維沉浸式音頻技術(shù)(Ambisonics)能給聽(tīng)者營(yíng)造出接近于現(xiàn)場(chǎng)的真實(shí)感受。Ambisonics是二十世紀(jì)70年代,以牛津大學(xué)教授Michael Gerzon(1945-1996)的理論成果為基礎(chǔ),由英國(guó)國(guó)家研究發(fā)展公司(British National Research Development Corporation)主持開(kāi)發(fā)的世界上第一種三維聲場(chǎng)還音技術(shù)體系。Ambisonics是最早也是最徹底的基于人耳聽(tīng)覺(jué)特性基礎(chǔ)上建立起的一整套三維聲場(chǎng)重建技術(shù),真正實(shí)現(xiàn)三維度全覆蓋的360°沉浸式全景環(huán)繞聲音,,完全擬合了人類聽(tīng)覺(jué)系統(tǒng)在真實(shí)空間中的聽(tīng)覺(jué)感受,播放效果遠(yuǎn)勝Dobly Atoms。
Ambisonics主要技術(shù)優(yōu)勢(shì)如下:
1. Ambisonics信號(hào)與播放系統(tǒng)的揚(yáng)聲器安裝位置和數(shù)量非常靈活,不受場(chǎng)地條件限制
2. Ambisonics可以通過(guò)增加傳輸通道揚(yáng)聲器的方式來(lái)獲得任何所需的空間分辨率
3. Ambisonics是各向同性的:它完全還原雙耳聆聽(tīng)自然的、外部空間的聲音的真實(shí)感受,來(lái)自任何方向的聲音信息被平等地對(duì)待。而不是像傳統(tǒng)技術(shù)一樣,假設(shè)聲音的主要來(lái)源是正面的,并將后置聲道僅僅用于環(huán)境或特殊效果
4. Ambisonics大大增加了劇場(chǎng)中最佳聽(tīng)音區(qū)域的面積,如果采用7階64通道的擴(kuò)聲系統(tǒng),則幾乎全部觀眾席都可以獲得最佳的聆聽(tīng)體驗(yàn)
在Ambisonics基礎(chǔ)之上,音王旗下品牌英國(guó)CADAC歷經(jīng)數(shù)十年的技術(shù)研究,運(yùn)用Ambisonics球諧函數(shù)算法邏輯作為空間音頻編碼技術(shù)的有效理論依據(jù)支撐。將Higher-Order Ambisonics既HOA (高階Ambisonics) 算法,用以矢量模擬不同多維度虛擬空間信息。并采用先進(jìn)的HOA沉浸聲算法和領(lǐng)先的技術(shù)設(shè)計(jì)路徑,成功開(kāi)發(fā)出了獨(dú)特的多維聲技術(shù)。向下兼容單聲道、立體聲、5.1、7.1等現(xiàn)有音頻格式,向上更是可以擴(kuò)展到64-128通道。該沉浸聲技術(shù)應(yīng)用場(chǎng)景包括: 劇場(chǎng)劇院,沉浸聲元宇宙項(xiàng)目,沉浸式演出、體育館、演播廳、多功能廳、主題公園、博物館、大型階梯教室、露天沉浸聲音樂(lè)會(huì)、中大型會(huì)議廳等應(yīng)用場(chǎng)景。Cadac沉浸聲系統(tǒng)包括CADACMAP、MAP/R(帶可變混響)主機(jī)以及MAP/B熱備機(jī),CP66通用型沉浸聲處理器等。產(chǎn)品研發(fā)思路均基于ambisonics沉浸式技術(shù)精髓,遵照ITU國(guó)際電信聯(lián)盟沉浸音頻國(guó)際標(biāo)準(zhǔn)技術(shù)體系,至此,不負(fù)多年耕耘,國(guó)內(nèi)專業(yè)音頻龍頭企業(yè)——音王打通了沉浸聲系統(tǒng)從聲音拾取、聲道編解碼到渲染還音整個(gè)技術(shù)鏈條。
音王旗下多系列沉浸式音頻產(chǎn)品,采用基于IETF、(Internet Engineering TaskForce)RFC6716標(biāo)準(zhǔn)的成熟高效的傳輸壓縮編解碼器,以及經(jīng)市場(chǎng)檢驗(yàn),基于多聲源的空間測(cè)量與校準(zhǔn)技術(shù)專利,其技術(shù)領(lǐng)先全球的聲學(xué)空間校準(zhǔn)算法。針對(duì)壓縮編碼的音質(zhì)損耗,采用創(chuàng)新的方法對(duì)算法損失的高頻諧波和中低頻抽值進(jìn)行模型反向?qū)W習(xí)。利用NPU的反向卷積實(shí)現(xiàn)對(duì)原聲的精確重放并支持多通道環(huán)繞聲與沉浸聲編碼,其多通道環(huán)繞聲的實(shí)現(xiàn)技術(shù)基礎(chǔ)為VBAP(基干矢量的振幅定位)和VBAP3D,同時(shí)加入HOA(高階空間算法),支持7階64通道的高精度聲場(chǎng)再現(xiàn)。
1. 沉浸式劇場(chǎng)劇院專用處理器——MAP/R可變混響沉浸聲處理器搭配MAP/B沉浸聲備機(jī)
MAP/R可變混響沉浸聲主機(jī)
CADAC MAP/R沉浸聲可變混響處理器是CADAC劇場(chǎng)劇院專用沉浸式音頻處理器系列的重要一員。
不同于一般意義上的沉浸式系統(tǒng),雖然看似都是由許多組音箱構(gòu)成,但都是基于VBAP和VBAP3D。CADAC沉浸聲從根基上就是基于HOA的場(chǎng)合成重構(gòu),這種基于球諧擬合的聲場(chǎng)重構(gòu)方式用局部的分散能量在所有音箱覆蓋到的范圍內(nèi)合成一個(gè)整體的高能量的聲場(chǎng)。帶來(lái)的好處是其聲音覆蓋并不需要強(qiáng)大的聲壓來(lái)保證覆蓋的均衡性,因此對(duì)建聲的要求并不苛刻。
HOA的優(yōu)勢(shì)是天生就具有均勻的覆蓋和均衡聲場(chǎng)響應(yīng),這也是實(shí)現(xiàn)大空間可變混響的有利條件。在此基礎(chǔ)上,CADAC MAP\R加入了基于HOA的可變混響處理功能。它可以在既有聲像分配模式下,自動(dòng)的在全部音箱的參與下渲染出接近自然的空間混響效果。目前可以擬合從幾百至上萬(wàn)立方的空間規(guī)模,空間混響時(shí)間最長(zhǎng)可達(dá)數(shù)秒。
MAP/B沉浸聲備機(jī)
網(wǎng)絡(luò)化音頻在超多通道沉浸聲音頻系統(tǒng)中已經(jīng)具有舉足輕重的作用。
從信號(hào)條份系統(tǒng)架構(gòu)而言,網(wǎng)絡(luò)音頻傳輸協(xié)議改變了信號(hào)的傳輸方式和連接模式。
從傳輸方式來(lái)說(shuō),它替代了模擬信號(hào)線,以更低的成本和更高的通信數(shù)據(jù)量,讓大規(guī)模系統(tǒng)的實(shí)施變得更為輕松;從連接模式來(lái)說(shuō),它打破了音頻系統(tǒng)信號(hào)“從輸入到輸出”的串行模式,變?yōu)橐跃W(wǎng)絡(luò)交換機(jī)為核心的“星型模式”。這種演變使得網(wǎng)絡(luò)交換機(jī)成為了系統(tǒng)的重要節(jié)點(diǎn)。
CADAC MAP主機(jī)與MAP/B備機(jī)通過(guò)交換機(jī)與所有音頻設(shè)備主備網(wǎng)口進(jìn)行連接,主備網(wǎng)絡(luò)音頻傳輸鏈路的最大優(yōu)勢(shì)在于其信號(hào)切換完全自動(dòng),且切換過(guò)程幾乎不被聽(tīng)覺(jué)感知。不僅如此,信號(hào)的分配也變得更加靈活。只要將設(shè)備接入網(wǎng)絡(luò)交換機(jī)中,就能夠從系統(tǒng)的任意環(huán)節(jié)提取信號(hào),這極大地提升了系統(tǒng)組合的靈活性。
2. 沉浸式劇場(chǎng)劇院專用處理器——MAP沉浸聲主機(jī)處理器搭配MAP/B沉浸聲備機(jī)
MAP可變混響沉浸聲主機(jī)
MAP沉浸聲處理器基于HOA沉浸式技術(shù)內(nèi)核,符合ITU國(guó)際電信聯(lián)盟沉浸音頻國(guó)際標(biāo)準(zhǔn)技術(shù)體系,該處理器主要用于新建或改擴(kuò)建劇場(chǎng)劇院,并針對(duì)劇場(chǎng)劇院實(shí)時(shí)性對(duì)穩(wěn)定性嚴(yán)苛的使用要求,專門做了雙備份系統(tǒng)設(shè)計(jì)。
基于HOA聲場(chǎng)重構(gòu)的原理,根據(jù)聲場(chǎng)還原階數(shù)的不同,可利用不同數(shù)目的揚(yáng)聲器進(jìn)行聲場(chǎng)重放,具有很高的靈活性和可擴(kuò)展性。
其聲場(chǎng)還原精度目前可支持7階64通道,可以展現(xiàn)足夠細(xì)膩的聲場(chǎng)過(guò)渡表現(xiàn),在此基礎(chǔ)上,根據(jù)劇場(chǎng)劇院應(yīng)用的特殊要求,在音頻接口的設(shè)置上做了更加符合使用需求的整合設(shè)置,并能通過(guò)CADAC C-Link數(shù)字音頻傳輸協(xié)議進(jìn)行音頻信號(hào)冗余備份,使系統(tǒng)可靠性大大增加。
3. 沉浸式音頻處理器——CP66沉浸式音頻處理器
CP66沉浸聲處理器基于HOA沉浸式技術(shù)內(nèi)核,符合ITU國(guó)際電信聯(lián)盟沉浸音頻國(guó)際標(biāo)準(zhǔn)技術(shù)體系,該處理器主要用于新建或改擴(kuò)建劇場(chǎng)劇院,并針對(duì)劇場(chǎng)劇院實(shí)時(shí)性對(duì)穩(wěn)定性嚴(yán)苛的使用要求,專門做了雙備份系統(tǒng)設(shè)計(jì)。
基于HOA聲場(chǎng)重構(gòu)的原理,根據(jù)聲場(chǎng)還原階數(shù)的不同,可利用不同數(shù)目的揚(yáng)聲器進(jìn)行聲場(chǎng)重放,具有很高的靈活性和可擴(kuò)展性。其聲場(chǎng)還原精度目前可支持7階64通道,可以展現(xiàn)足夠細(xì)膩的聲場(chǎng)過(guò)渡表現(xiàn)。
總結(jié)
沉浸聲技術(shù)、XR技術(shù)等聲光電科技手段的運(yùn)用,使得文化演出增強(qiáng)了互動(dòng)性和趣味性,突破了傳統(tǒng)的觀看模式,實(shí)現(xiàn)觀眾對(duì)視聽(tīng)的極致要求,創(chuàng)新了藝術(shù)形式,推動(dòng)了沉浸式文旅業(yè)態(tài)的發(fā)展,相信未來(lái)沉浸式將重新定義劇場(chǎng)劇院的視聽(tīng)文化。
評(píng)論comment