11月23日晚，2024中國足協(xié)杯決賽在浙江溫州舉行，經(jīng)過激烈較量，最終上海海港隊以3:1戰(zhàn)勝山東泰山隊，成功奪得隊史首座足協(xié)杯冠軍。在這場足壇盛宴，球員們高超的球技及團(tuán)隊間精彩的對決無疑是比賽關(guān)注的焦點，而裁判公平、公正的判罰則是比賽進(jìn)行的關(guān)鍵。

　　為進(jìn)一步增強(qiáng)賽事的公平性及觀賞性，2024中國足協(xié)杯決賽開創(chuàng)性地引入了半自動越位識別技術(shù)(SAOT，Semi-Automated Offside Technology)，這不僅在國內(nèi)足壇，在整個東南亞地區(qū)的足球賽事中也屬新鮮嘗試。高精準(zhǔn)、高實時的判罰，讓觀眾們見證了一場別開生面的足球?qū)Q。近日，《影視制作》特別采訪了索尼(中國)有限公司虛擬制作及體育行業(yè)部體育行業(yè)科經(jīng)理鄭昭、副經(jīng)理劉海，從專業(yè)技術(shù)角度剖析索尼半自動越位識別技術(shù)，以期揭開這一創(chuàng)新技術(shù)的神秘面紗。

　　升級引入SAOT

　　高精準(zhǔn)“秒級”判罰輕松完成

　　觀望全球，半自動越位識別技術(shù)早已應(yīng)用于卡塔爾世界杯、亞洲杯、歐冠等國際賽事。與國際接軌，順應(yīng)技術(shù)應(yīng)用趨勢，中國足協(xié)和足協(xié)杯組委會對嘗試這項新技術(shù)很早就表現(xiàn)出了極大的興趣。2023年年底，足協(xié)杯組委會與索尼虛擬制作及體育行業(yè)部(以下簡稱“索尼體育”)已經(jīng)就“何時引入半自動越位識別技術(shù)”的問題進(jìn)行了交流。最終，綜合考慮技術(shù)應(yīng)用成本、賽事重要性等因素，組委會于2024足協(xié)杯決賽前一個月確定在視頻助理裁判(VAR，Video Assistant Referee)服務(wù)的基礎(chǔ)上，升級引入半自動越位識別技術(shù)。

2024足協(xié)杯決賽現(xiàn)場視頻助理裁判工作臺

2024足協(xié)杯決賽現(xiàn)場半自動越位工作臺

　　此次半自動越位識別技術(shù)由10個攝像頭和1整套AI系統(tǒng)組成。其中，攝像頭負(fù)責(zé)實時定位追蹤每位球員身體上共計29個數(shù)據(jù)點位。遇到疑似越位或發(fā)生進(jìn)球，VAR操作員可優(yōu)先向裁判展示系統(tǒng)自動生成的越位線畫面，并可以回溯進(jìn)球前初始階段到進(jìn)球過程中的細(xì)節(jié)。

攝像頭實時定位追蹤球員身體上的29個數(shù)據(jù)點位

　　半自動越位識別技術(shù)在整場比賽中會實時給出疑似越位(potential offside)、明確越位(clear offside)、明確不越位(clear onsite)的提示，完成高精準(zhǔn)“秒級”判罰，有效避免判罰爭議。“只有遇到接近越位的情況，才需手動查看。此外，某些越位干擾的判定還需依賴裁判的主觀判斷，如球員是否位于越位位置對進(jìn)攻構(gòu)成干擾等。‘半’自動越位的系統(tǒng)名稱由此而來。”索尼(中國)有限公司虛擬制作及體育行業(yè)部體育行業(yè)科經(jīng)理鄭昭解釋。

　　AI系統(tǒng)的主要功能則是利用專用AI算法將二維平面數(shù)據(jù)轉(zhuǎn)化為三維坐標(biāo)數(shù)據(jù)而后形成三維動畫，裁判做出判罰后，轉(zhuǎn)播方可以更直觀地向觀眾展示球員越位的具體位置和整個越位的過程。鄭昭強(qiáng)調(diào) ：“不少觀眾誤以為三維動畫是某一幀畫面生成的，事實上全場比賽超過90分鐘的所有球員的動態(tài)視頻圖像已經(jīng)在我們系統(tǒng)中作為三維數(shù)據(jù)存在，只是我們在裁判確認(rèn)后，才會截取和越位相關(guān)的片段發(fā)給轉(zhuǎn)播方。”

　　打好“地基”

　　實時穩(wěn)定的圖像數(shù)據(jù)采集

　　綜上所述可以看出，實時采集圖像數(shù)據(jù)是整個工作流程的“地基”，是實現(xiàn)更快、更精確判罰的關(guān)鍵所在，因此賽前準(zhǔn)備階段的攝像頭安裝與調(diào)試工作顯得尤為重要。

　　索尼(中國)有限公司虛擬制作及體育行業(yè)部體育行業(yè)科副經(jīng)理劉海介紹，比賽場地的實際情況對攝像頭的布局影響非常大，此次足協(xié)杯決賽場地不是完整的圓環(huán)看臺，這導(dǎo)致正前、正后兩個非常重要的位置無法架設(shè)機(jī)位?？紤]到位置較低的機(jī)位會被球迷、球網(wǎng)等遮擋，最終攝像頭選擇安裝在看臺最高層。但其距離球場非常遠(yuǎn)，這使攝像頭的布局難上加難。

攝像頭安裝在看臺最高層

　　在初步確定比賽現(xiàn)場的機(jī)位布局后，需要再進(jìn)入軟件“細(xì)調(diào)”。10個攝像頭布局是協(xié)同調(diào)整的，牽一發(fā)動全身。攝像頭調(diào)試軟件分析界面中，黑色、紅色、橙色、綠色和藍(lán)色部分別為 0個、1個、2個、3個、4個攝像頭覆蓋的范圍。經(jīng)過長達(dá)一周的反復(fù)調(diào)試，終于實現(xiàn)了“全藍(lán)”的理想機(jī)位布局，即球場上任意一點至少有4個攝像頭覆蓋。

攝像頭調(diào)試軟件分析界面

機(jī)位布置圖

　　賽前熱身環(huán)節(jié)的測試結(jié)果進(jìn)一步驗證了數(shù)據(jù)的穩(wěn)定性和準(zhǔn)確性?，F(xiàn)場上百位小朋友，在沒有球員號碼的情況下，10個攝像頭可實時同步追蹤約50 人，且追蹤圖像數(shù)據(jù)穩(wěn)定、準(zhǔn)確，沒有出現(xiàn)丟幀、掉幀等問題。

賽前熱身環(huán)節(jié)追蹤數(shù)據(jù)穩(wěn)定，無丟幀、掉幀等問題

　　海量數(shù)據(jù)驅(qū)動

　　機(jī)器學(xué)習(xí)實現(xiàn)量變到質(zhì)變的突破

　　顧名思義，半自動越位識別技術(shù)是針對“越位”這一犯規(guī)行為在視頻助理裁判系統(tǒng)上進(jìn)行了功能升級。除了優(yōu)化呈現(xiàn)方式，采用精密虛擬影像有效解決畫面清晰度的問題外，在響應(yīng)速度和精準(zhǔn)度上也實現(xiàn)了“秒級判罰”和“毫米級誤差”的突破。

　　以中超聯(lián)賽中一次越位判罰為例，視頻助理裁判對越位判罰的工作流程為：逐幀確認(rèn)出球點→確認(rèn)防守隊員的位置和進(jìn)攻隊員的位置→根據(jù)采集的畫面數(shù)據(jù)，裁判員確認(rèn)身體部分最靠近底線的位置，然后依次畫出防守和進(jìn)攻隊員的越位線→最終確認(rèn)根據(jù)系統(tǒng)生成的越位線來判斷。越位判罰的手動3D劃線耗時長，國際足聯(lián)的統(tǒng)計數(shù)據(jù)顯示大約需要70 秒，且劃線的準(zhǔn)確性也受到質(zhì)疑，“體毛越位”的說法正源于此。在處理連續(xù)越位、出球點有遮擋等復(fù)雜情況時，劃線準(zhǔn)確度的問題會更加突出，導(dǎo)致有些判罰會需要3~4分鐘再反復(fù)確認(rèn)。

　　再看2024足協(xié)杯決賽中連續(xù)兩次疑似越位的判罰，半自動越位識別技術(shù)的工作流程為 ：確認(rèn)出球點→確認(rèn)守方隊員→確認(rèn)攻方隊員→按“確認(rèn)”按鈕→系統(tǒng)給出判罰結(jié)果→生成三維動畫。系統(tǒng)3秒內(nèi)即可完成分析結(jié)果，之后裁判員再確認(rèn)整個流程。賽后的數(shù)據(jù)統(tǒng)計顯示，比賽中的半自動越位確認(rèn)時間為20秒，不僅減少了越位判罰所需的時間，并且準(zhǔn)確性也有很大提升。

2024足協(xié)杯決賽連續(xù)兩次疑似越位判罰的三維動畫　　大部分電視機(jī)前的觀眾可能對半自動越位輸出的效率有微詞，很多是關(guān)于用時太長、播放不及時的。但實際情況是，轉(zhuǎn)播在收到制作完成的半自動越位視頻后，很多時候已經(jīng)恢復(fù)比賽，需要等待“死球”或比賽暫停時才能播放視頻，這也就使很多觀眾產(chǎn)生了誤解。以2024足協(xié)杯決賽上半時結(jié)束之前的進(jìn)球為例，視頻裁判確認(rèn)進(jìn)球有效，場上裁判很快恢復(fù)比賽，直到半場比賽結(jié)束沒有中斷，所以轉(zhuǎn)播方只能在下半場比賽開始階段，等待“死球”的時間來播放上半時的半自動越位動畫視頻。

　　從視頻助理裁判系統(tǒng)到半自動越位識別技術(shù)，技術(shù)的增強(qiáng)與優(yōu)化得益于機(jī)器學(xué)習(xí)從量變到質(zhì)變的突破。鄭昭介紹，索尼體育自2018年起就開始投入半自動越位識別技術(shù)的研發(fā)。依托索尼體育服務(wù)的海量體育賽事，索尼半自動越位識別技術(shù)通過機(jī)器學(xué)習(xí)達(dá)到了高精準(zhǔn)度。歷時三年，于2021年最終制作完成了AI模型算法。鄭昭介紹 ：“索尼體育服務(wù)于全球賽事，量級可達(dá)年均2萬場，海量賽事數(shù)據(jù)的積累，為索尼SAOT提供了更好的機(jī)器學(xué)習(xí)的數(shù)據(jù)條件。”

　　29個追蹤數(shù)據(jù)點位同樣是經(jīng)過機(jī)器反復(fù)學(xué)習(xí)后最終確定的。這些點位已經(jīng)通過國際足球聯(lián)合會的測試認(rèn)可。目前，索尼提供的半自動越位識別技術(shù)無需佩戴其他設(shè)備即可實現(xiàn)精準(zhǔn)定位球員位置及29個數(shù)據(jù)點位的識別與追蹤。數(shù)據(jù)點位的準(zhǔn)確性則得益于每場賽事中10+臺攝像機(jī)實時采集的高清圖像數(shù)據(jù)，這為建立虛擬球員、虛擬球場模型提供了數(shù)據(jù)支撐。

追蹤數(shù)據(jù)三維效果圖

　　2024足協(xié)杯決賽賽前準(zhǔn)備期間，劉海特別針對數(shù)據(jù)準(zhǔn)確性進(jìn)行了測試。“通過實際賽場尺寸與虛擬模型中賽場尺寸的比較，測試結(jié)果顯示，百米范圍內(nèi)的誤差小于5 ㎜。高精準(zhǔn)性正是2024足協(xié)杯決賽最終決定引入半自動越位識別技術(shù)的關(guān)鍵原因之一。”劉海道。

　　索尼體育持續(xù)發(fā)力

　　拓展行業(yè)應(yīng)用新邊界

　　目前，索尼體育業(yè)務(wù)在中國主要集中在足球賽事領(lǐng)域，提供視頻助理裁判服務(wù)。2018年~2023年，為亞洲杯、亞冠精英聯(lián)賽、世界杯預(yù)選賽、中超聯(lián)賽以及部分中甲賽事、足協(xié)杯、超級杯等賽事提供了技術(shù)和服務(wù)支持。同時在2024 年，也已經(jīng)開始在籃球比賽中引入IRS裁判輔助系統(tǒng)，并成功完成了上海久事希望之星籃球賽、成都亞洲女子冠軍聯(lián)賽等賽事。此外，索尼體育還涉足網(wǎng)球、羽毛球賽事，重點服務(wù)WTA、ATP等國際頂級賽事，主要負(fù)責(zé)技術(shù)與人員方面的支持。

　　自2021年投入市場以來，索尼半自動越位識別技術(shù)在越來越多的重量級賽事中得到應(yīng)用，2025超級杯正在考慮引入這一技術(shù)。隨著該技術(shù)的不斷優(yōu)化，對于數(shù)據(jù)精確度要求非高的國際頂級足球賽事將大部分采用這項技術(shù)。此外，索尼數(shù)據(jù)追蹤技術(shù)在網(wǎng)球賽事中能夠準(zhǔn)確追蹤球體運(yùn)動軌跡 , 判斷落球點是否出界，并已積累了廣泛的成功案例。

　　除了輔助裁判進(jìn)行判罰，索尼體育也在積極拓展半自動越位識別技術(shù)的新應(yīng)用場景。在引入攝像機(jī)追蹤數(shù)據(jù)的基礎(chǔ)上，現(xiàn)在已經(jīng)能夠?qū)崿F(xiàn)360 度自由觀賽體驗。例如，觀眾可以選擇鎖定某位球員的視角，這極大地增強(qiáng)了觀賽的沉浸感。此外，利用追蹤數(shù)據(jù)，轉(zhuǎn)播的視覺效果也可得到提升，包括觀眾和解說員在內(nèi)的用戶，可以實時查看球員信息、射門角度、運(yùn)動速度、跑動距離等詳細(xì)數(shù)據(jù)。目前，索尼體育正與咪咕、百度合作，共同進(jìn)行轉(zhuǎn)播視覺增強(qiáng)技術(shù)的測試案例。

　　通過半自動越位識別技術(shù)與動漫IP結(jié)合，還可面向青少年群體開展體育知識的普及和教育，增強(qiáng)青少年對體育項目的興趣和體育賽事的關(guān)注度。例如，在索尼體育宣傳片中，一場真實比賽經(jīng)過動漫IP包裝，賽場被設(shè)計成卡通動物園，球員們也被建模成《辛普森一家》中的角色形象，進(jìn)球還添加了爆炸等特效……使得觀賞過程的娛樂性大大提升。基于動漫IP包裝，還可以制作系列動畫，通過引人入勝的劇情向小朋友們生動解釋足球比賽中的規(guī)則。鄭昭指出，動漫IP包裝蘊(yùn)含著巨大的商業(yè)潛力，例如可以根據(jù)贊助商品牌定制虛擬解說員形象或場景。“我們與百度已經(jīng)做了類似的嘗試，但視覺效果仍有很大提升空間，未來我們考慮與動畫公司合作，制作出更優(yōu)質(zhì)的視覺效果。

　　采訪的最后，鄭昭經(jīng)理與劉海副經(jīng)理一致強(qiáng)調(diào)了數(shù)據(jù)的重要性。“基于足夠量級、穩(wěn)定、精準(zhǔn)的數(shù)據(jù)，可挖掘出無限應(yīng)用的可能。”劉海提出，這些數(shù)據(jù)首先可以用來制作專業(yè)的數(shù)據(jù)報告，供教練、組委會或解說團(tuán)隊使用，以便更準(zhǔn)確地評估隊員表現(xiàn)、研究對手，并調(diào)整比賽策略。其次，也將推動轉(zhuǎn)播技術(shù)的創(chuàng)新，例如基于半自動越位識別技術(shù)三維動畫的生成，開辟元宇宙頻道，觀眾將能夠創(chuàng)建個性化的三維虛擬形象，真正地融入比賽之中，深切體會體育競技的無限激情與魅力。