音頻技術(shù)的發(fā)展在過去幾十年的時間里，讓人們的聽覺體驗從單聲道擴展到立體聲和環(huán)繞聲，并且向帶有高度信息的沉浸聲系統(tǒng)快速進(jìn)化。為了讓年輕的音頻行業(yè)從業(yè)者能夠緊跟技術(shù)的快速更迭，易科國際的沉浸聲技術(shù)團隊于2022年5月26日，為中國傳媒大學(xué)的學(xué)生們進(jìn)行了一次題為《沉浸聲系統(tǒng)在節(jié)目制作中的應(yīng)用》的主題講座。

　　講座開始，中國傳媒大學(xué)音樂與錄音藝術(shù)學(xué)院教師賁小龍老師做了開場白，易科國際市場營銷中心高級總監(jiān)冀翔則介紹了易科國際的沉浸聲技術(shù)團隊成員以及其位于深圳總部的沉浸聲系統(tǒng)實驗及體驗空間。

　　Part　1

　　本次講座分為三大模塊：沉浸聲系統(tǒng)基本概念梳理、節(jié)目的制作與交付流程以及沉浸聲系統(tǒng)在應(yīng)用中的相關(guān)注意事項。易科國際高級品牌經(jīng)理徐若克從同學(xué)們較為熟悉的立體聲和環(huán)繞聲拾音制式說起，如AB，M/S，X/Y，Hamasaki Square，F(xiàn)ukata Tree等，讓同學(xué)們對錄音制作從前期拾音到后期制作，直到最后交付節(jié)目的整體流程有一個整體的把握，也為后續(xù)的沉浸聲節(jié)目制作和節(jié)目交付埋下伏筆。

　　隨后，徐若克解釋了“基于聲道(Channel-Based)”和“基于對象(Object-Based)”的概念，對比了二者之間的異同。

　　基于聲道對于揚聲器布局有著標(biāo)準(zhǔn)化的限制和要求，比如5.1環(huán)繞聲系統(tǒng)對于揚聲器的布局要求必須符合ITU-R BS.2159-9標(biāo)準(zhǔn)(官方鏈接https://www.itu.int/pub/R-REP-BS.2159-9-2022)。

　　基于對象則是在音頻文件的基礎(chǔ)上賦予了更多的元數(shù)據(jù)，如空間坐標(biāo)信息、聲學(xué)特性等。基于對象和基于聲道二者之間并不是相互對立的“競爭”關(guān)系，在不同應(yīng)用場景之下，作為音頻工程師會選擇更為合適的制作系統(tǒng)。對于從制作到最終節(jié)目的交付，揚聲器布局遵循統(tǒng)一標(biāo)準(zhǔn)并且保持一致的場景，基于聲道的系統(tǒng)有著明顯的優(yōu)勢;若節(jié)目的制作環(huán)境和交付端無法保證揚聲器布局的統(tǒng)一，那么為了節(jié)目遷移的一致性，基于對象的制作則有更大的優(yōu)勢，目前市場上的一些現(xiàn)場演出以及互動性較強的節(jié)目都是采用這一制作系統(tǒng)完成的。針對如何在基于聲道和基于對象這兩種系統(tǒng)之間做出正確的選擇，除了上述的應(yīng)用場景外，沉浸聲引擎自身的渲染算法也是另一重要考量因素，如基于強度的VBAP，DBAP，基于延時的WFS算法，他們對于靜態(tài)和動態(tài)聲源的渲染上，對于系統(tǒng)資源的消耗有著各自的優(yōu)勢和不足，需要在系統(tǒng)設(shè)計過程中綜合考量。

　　接下來，徐若克針對SARA引擎的核心算法WFS做了進(jìn)一步的介紹，從WFS的理論模型到實際應(yīng)用中一些難以實施的特點，讓同學(xué)們不僅能夠明白WFS算法的優(yōu)勢，同時也能夠看到其在應(yīng)用層面的局限性。SARA引擎的自適應(yīng)波場合成渲染算法，其核心來自于WFS算法，并在及基礎(chǔ)上做出改良和優(yōu)化，所以在原有WFS的優(yōu)勢上，進(jìn)一步減少了系統(tǒng)中所需揚聲器的數(shù)量，更夠更好的實現(xiàn)垂直定位，在音色保持一致的前提下，靈活地在點聲源和平面波之間進(jìn)行切換。

　　易科國際解決方案經(jīng)理汪道瀾在易科總部的五樓為同學(xué)們展示了SARA引擎的操作界面和簡易的工作流程。從建立一個沉浸聲系統(tǒng)工程，調(diào)整房間尺寸，建立揚聲器坐標(biāo)，選擇揚聲器類型(Spatial, Reinforcement, Sub)，到針對引擎SFF格式元數(shù)據(jù)的播放器進(jìn)行了功能展示，讓同學(xué)們在對于沉浸聲系統(tǒng)有了一定的理論層面認(rèn)知之后，能夠在引擎操作頁面能夠更加直觀的感受到整個沉浸聲系統(tǒng)被建立起來的過程，以及在實際應(yīng)用過程中，針對不同揚聲器布局，靈活且快速的比例調(diào)整。

　　Part　2

　　徐若克針對沉浸聲節(jié)目的制作和交付流程做了較為詳細(xì)的分享。當(dāng)節(jié)目進(jìn)入沉浸聲的制作時，大致上可以將制作方式歸為完全基于對象、基于聲道制作加上基于對象渲染、混合制作加上基于對象渲染這三種方式。首先，針對完全基于對象的制作方式，從制作端到節(jié)目交付端，全程都有沉浸聲引擎的參與。在制作環(huán)節(jié)，工程師大多都是基于一個標(biāo)準(zhǔn)的揚聲器布局完成節(jié)目的監(jiān)聽，沉浸聲引擎作為制作環(huán)節(jié)的渲染工具，為工程師提供了基于標(biāo)準(zhǔn)揚聲器布局的監(jiān)聽信號，而非最終交付的信號。當(dāng)節(jié)目制作完成到了交付端的時候，唯一需要調(diào)整的就是交付端新的揚聲器布局，這個布局需要重新導(dǎo)入沉浸聲引擎當(dāng)中，引擎接受同樣的節(jié)目源，重新根據(jù)新場地的揚聲器布局進(jìn)行渲染，完成節(jié)目的交付?；诼暤乐谱骷由匣趯ο箐秩究梢宰尮?jié)目制作人員保留原有的制作流程和操作習(xí)慣，并且在制作環(huán)節(jié)可以允許沉浸聲引擎不參與其中，此時制作人員聽到和最終輸出的文件既是監(jiān)聽信號又是交付信號。當(dāng)制作完成之后到了交付場地，同樣的，沉浸聲引擎會根據(jù)場地的揚聲器布局模型，針對完成的節(jié)目信號進(jìn)行渲染?；旌现谱骷由匣趯ο箐秩具@中方式，在制作環(huán)節(jié)即引入了沉浸聲引擎。大部分的信號可以通過工作站的固定母線輸出至引擎，少數(shù)需要做特殊效果的通道可以直接輸出給引擎。在交付環(huán)節(jié)，此時的元數(shù)據(jù)既來自制作端引擎，又包含基于聲道的揚聲器布局，引擎基于新的揚聲器布局完成節(jié)目的渲染并將信號輸出給揚聲器系統(tǒng)。

　　當(dāng)演出現(xiàn)場不具備特定揚聲器布局的安裝條件時，沉浸聲引擎基于場地中揚聲器模型來渲染出虛擬揚聲器來滿足特定重放要求的節(jié)目，就顯得非常重要。徐若克以2021年11月易科國際在星海音樂廳完成的22.2聲道，8K超高清放映系列活動 為例，和同學(xué)們分享沉浸聲引擎在真實場景下的應(yīng)用，團隊遇到的困難和對應(yīng)措施，進(jìn)一步強化了沉浸聲系統(tǒng)來渲染和還原虛擬揚聲器的概念。

　　Part　3

　　沉浸聲系統(tǒng)在實際應(yīng)用中，除了提供核心運算的沉浸聲引擎，還有很多其他設(shè)備的參與，比如調(diào)音臺、數(shù)字信號轉(zhuǎn)換器、交換機、功放、揚聲器等。當(dāng)面對(設(shè)計)一套沉浸聲時，我們需要全面了解各自設(shè)備在系統(tǒng)當(dāng)中的角色。徐若克從網(wǎng)絡(luò)規(guī)劃，時鐘規(guī)劃的角度幫助同學(xué)們進(jìn)一步了解了在應(yīng)用層面會遇到的一些問題和注意事項。當(dāng)我們采用Dante™作為信號傳輸鏈路的時候，我們需要明確將哪些設(shè)備規(guī)劃在統(tǒng)一網(wǎng)段下。比如沉浸聲主機，MADI/Dane轉(zhuǎn)換盒，控制電腦需要在統(tǒng)一網(wǎng)段，以便進(jìn)行沉浸聲引擎的操作管理，Dante™信號流的路由監(jiān)測。如果系統(tǒng)中有調(diào)音臺和其他基于AoIP的設(shè)備，那么我們也需要將他們接入沉浸聲引擎所在的網(wǎng)段之下。

　　同時，在數(shù)字音頻當(dāng)中，時鐘這一重要元素是不可忽略的。以SARA引擎為例的沉浸聲系統(tǒng)當(dāng)中，沉浸聲引擎未必都是做主時鐘的。根據(jù)調(diào)音臺在系統(tǒng)中的角色變化，工程師可以將調(diào)音臺作為主時鐘。沉浸聲引擎和后級的其他設(shè)備都可以再整個系統(tǒng)當(dāng)中以從屬狀態(tài)跟隨主時鐘，實現(xiàn)數(shù)字信號的同步。由于系統(tǒng)中Dante™信號的存在，我們還需要考慮Dante™系統(tǒng)的主時鐘(Master)和從設(shè)備(Slave)，此處的案例當(dāng)中，是以MADI/Dante信號轉(zhuǎn)換器作為Dante™系統(tǒng)的Dante™時鐘。

　　在講座進(jìn)行過程中，同學(xué)們都紛紛提出了關(guān)于系統(tǒng)設(shè)計和場地建模等多方面的問題，冀翔老師也一一進(jìn)行了解答，同學(xué)們也在這短短的3個多小時的課程中有所收獲。目前，由于疫情防控的相關(guān)政策要求，同學(xué)們無法親臨北京易科分公司實際上手感受這套沉浸聲系統(tǒng)。

　　傳媒大學(xué)賁小龍老師表示：“沉浸聲制作現(xiàn)在已經(jīng)滲透到“聲音行業(yè)”的各個域，無論是基礎(chǔ)研究、影視、音樂、游戲當(dāng)然還有現(xiàn)場擴聲。這次非常榮幸的能夠邀請到易科國際的三位老師給我們做這樣一次技術(shù)分享。在現(xiàn)場擴聲中沉浸聲的制作對我們來說還是一個新興事物，通過對沉浸聲節(jié)目的制作與交付以及沉浸聲系統(tǒng)的重放等環(huán)節(jié)對同學(xué)們進(jìn)行演示、講解，能夠幫助大家更好的理解課堂上老師講授的原理及現(xiàn)場制作中沉浸聲系統(tǒng)的應(yīng)用現(xiàn)狀。唯一的遺憾就是由于疫情原因無法按原定計劃帶著同學(xué)們到展廳內(nèi)體驗沉浸聲制作系統(tǒng)，待疫情緩和希望能夠有機會帶領(lǐng)同學(xué)們到現(xiàn)場進(jìn)行學(xué)習(xí)實踐。最后還要再次感謝易科的三位老師能夠為同學(xué)們提供這次寶貴的學(xué)習(xí)機會。”

　　通過這次的線上課程，相信能夠讓更多的同學(xué)能夠?qū)Τ两曄到y(tǒng)及其應(yīng)用有更多的興趣，希望他們未來也能為音頻行業(yè)，尤其是沉浸聲的制作和實踐注入更多的新鮮血液。