Facebook推出360度視頻傳輸質量評估標準：SSIM360和360QVM
Facebook一直致力於推動360度技術的發展，他們已經開拓瞭一系列的新概念，如偏移立方體貼圖（offset cubemaps），動態流式傳輸（dynamic streaming）和基於內容的流式傳輸（content-dependent streaming）。對於每一項新技術，重要的是與原先方法比較沉浸式體驗的質量，比如分辨率，位速度，或者結構相似性。一項可靠的質量評估工作流程能夠為比較360度瀏覽會話提供一致的標準，並且幫助我們衡量是否應該在生態系統中采用新的360度技術。
遺憾的是，業內尚未出現普遍認可的360度內容QA標準，而針對傳統非360度媒介的現有QA工作流程無法捕捉360度視頻的相關屬性：沉浸感和觀影控制。360度視頻的每一幀都壓縮瞭一個全方向的球形場景，而這在編碼水平上需要將其翹曲成矩形幀。這種翹曲操作影響瞭傳統的逐幀圖像QA，並且令結果變得相當不可靠。另外，用戶在360度視頻播放期間可以控制任意時刻的觀影方向，這意味著最終的視圖質量取決於用戶視場的幀區域，而非整體的球形幀。
Facebook為需要應對翹曲和視場問題的360度視頻傳輸開發瞭一種新QA工作流程，並向我們介紹瞭兩種新標準：SSIM360和360QVM。這兩個標準在單個編碼和播放組件的質量上，以及傳輸會話的整體質量上分別提供瞭量化的指標。Facebook指出，隨著新功能的推出，這可以支持他們理解360度管道中每一個組件的性能表現，並且追蹤編碼效率和播放質量上的增益。下面，映維網將向大傢介紹Facebook的QA工作流程，並希望這可以促進更廣泛的360度內容開發者社區量化和分享他們的開發，從而創建更具沉浸感的體驗。
1。 編碼質量評估
1.1 對傳統非360度SSIM的簡單介紹
結構相似性指標（Structural Similarity Index，SSIM）是廣泛用於評估圖像和視頻編碼的QA指標。全參考QA采用兩幅輸入圖像：參考圖像（如原始內容）和變化圖像（如編碼內容），並且輸出0和1之間的分數。分數代表兩幅圖像的結構相似性：1分表示圖像相同，因此質量保存良好；；0意味著兩者完全不同，這意味著嚴重的結構變形。當SSIM用於視頻QA時，評估是逐幀完成的，而且僅在兩個輸入視頻的長度和幀速率完全相同時才起作用。
跟大部分的圖像處理算法類似，SSIM不會一次性測量整幅圖像。相反，它從兩個輸入圖像中采樣較小的區域（類似於圖像壓縮中的宏塊）並比較樣本。在最初的論文中，作者提出瞭一個用於這一采樣的11×11高斯內核，而ffmpeg的vf_ssim濾波器使用瞭一個統一的8×8方塊（如上圖所示）。我們從每個樣本中獲取一個SSIM值。為瞭獲取每幅圖像的SSIM，我們計算每個樣本的SSIM平均數。為瞭獲取整個視頻的SSIM，我們進一步平均計算所有幀的每圖像SSIM。
1.2 翹曲問題
SSIM中的采樣區域是靜態的（即相同的大小，相同的形狀），並且在最終的平均計算中具有相同的權重。例如在上面的ffmpeg實現中，不管位置如何，圖像中每一個8×8區域對最終的SSIM分數都具有同樣的影響力。但360度媒介並非如此。
請比較上面的兩張世界地圖。左邊地圖的編碼器會降低畫面下部的質量（南極洲）；而右邊地圖的編碼器隻是左邊編碼地圖的重定向版本。當渲染至3D球體時，這兩張地圖應該看起來完全一樣（除瞭方向），所以它們從360度內容QA中得到的分數也應該是相同。但是，如果我們使用SSIM作為我們的QA標準，則左邊地圖分數會較低。原因是由於等量矩形中靠近垂直中心的翹曲較少，所以右邊地圖“糟糕質量”部分（南極洲）所占的比例較小。在SSIM的8×8取樣方塊中（在兩個地圖上呈現為紅色放寬），左邊地圖中南極洲占據的區域被采樣23次，而右邊地圖隻有12次，所以這導致瞭不同的平均SSIM分數。這表明非360度SSIM過程並不可靠，因為相同的360度內容卻輸出瞭不同的值。
1.3 快照
一種防止翹曲影響的方法是，直接對360度球體中的渲染視圖進行取樣，而非采用等量矩形的渲染視圖。我們從360度球體中的所有可能視角方向獲取無限數量的方形快照。這種樣本是平坦圖像，同時進行瞭加權平均，所以翹曲問題將不復存在，而且SSIM將是一個有效的QA。
為瞭防止翹曲，在饋送至非360 SSIM之前先獲取平面圖像的快照（V1，…，Vn）。 最終的“Snapshot SSIM”分數將通過匯總所有的每快照SSIM分數進行計算。
雖然可靠，但這種方法的計算復雜性使其成為不可行的360度圖像QA解決方案。使用我們的Transform360庫來從給定視圖中獲取單個快照並不是一件簡單的事情，更不用說獲取無限數量的快照並且逐個運行SSIM。但是，我們可以使用匯總的快照分數作為驗證我們新SSIM360標準的基礎事實。
1.4 SSIM360
另一種解決翹曲問題的方法是，在計算平均值時為每樣本SSIM得分加權。加權取決於采樣區域在影像中的拉伸程度：拉伸越多，加權越小。這可以通過“樣本覆蓋的渲染球體比例”和“樣本覆蓋的幀比例”的比例進行計算。每個樣本對最終分數的貢獻不同，所以能有效地消除翹曲影響。原始SSIM的加權平均版本稱為SSIM360。
為瞭驗證SSIM360的結果，我們將其與Snapshot SSIM進行比較。我們針對不同的紋理和動態特征的360視頻，以及不同的編解碼器，縮放和質量保存目標進行瞭驗證實驗。然後通過1）SSIM，2）SSIM360和3）Snapshot SSIM評估這些降級測試用例。
上圖中是SSIM360和SSIM的累積分佈函數（CDF），而我們可以看到SSIM360幾乎能在所有的百分比中把錯誤減少約50%。錯誤定義為Snapshot SSIM分數與每個QA（SSIM360，SSIM）輸出分數之間的絕對差異。從計算角度而言，由於SSIM360隻是通過可預先計算的權重圖來替換每樣本SSIM聚合中的統一加權，因此SSIM360與傳統SSIM一樣有效。
2。 播放質量台灣電動床工廠評估
2.1 視場問題
SSIM360是在不確定用戶註視點的情況下評估編碼級別的質量。但在播放質量評估中，我們必須考慮到視圖方向。在任何特定時間下，隻有大約15%的360度場景會保留在用戶視場中。這意味著通過SSIM360計算的整體球形幀質量將不再具有代表性。當我們在內容交付框架中采用基於視圖的優化時，情況尤其如此。基於視圖的優化技術（如偏移投影，基於顯著性的編碼，以及基於內容的流式傳輸）基本上將位分配（相當於大多數情況下的像素分配）偏向視頻中感知更重要的區域。它們並沒有提高整個畫面的質量，而是優化用戶最有可能註視的區域。
右圖顯示瞭偏移投影的像素密度圖（假設中心的感知重要性更高）。與左邊投影相比（沒有基於視圖的優化），聚焦區域（紅色圓圈）內的質量要高得多。SSIM360無法捕捉到這種優化，因為它側重於整個畫面，而且在這個例子中兩邊的整體像素數量實際上是完全一樣。
2.2 從視圖到像素密度，從像素密度到質量縮放
我們通過兩個映射解決瞭視場問題：一個是從視圖方向到像素密度，另一個則是從像素密度到應用於SSIM360得分的比例系數。第一個映射考慮瞭編碼中使用的投影，以及播放期間的視圖方向和視場，並且詢問每個時間點內有多少像素停留在視場之中。換句話說，紅圈中有多少像素？通過已知的像素密度圖，我們可以通過封閉型幾何公式來有效地計算答案。
第二個映射通過引入反映像素密度變化的比例系數來調整SSIM360的質量分數。在非360度QA中，我們會使用類似的技術來評估縮小尺寸所導致的質量下降（即除毛-擺脫老舊型的除毛方式,任何毛髮一網打盡∣真空除毛推薦~聖雅諾美學診所將圖像“縮小”到更小的寬度/高度）。由於SSIM假定參考圖像和變化圖像具有相同的尺寸，因此縮小後的圖像必須放大至原始尺寸，並重新采樣以評估質量下降情況。我們不可以忽略這所需要的計算工作，特別是我們要評估轉碼過程。轉碼過程會產生數十種具有不同維度的編碼格式，而所有這些都需要在單獨的QA過程中重新采樣，如下所示。
要避免這種計算開銷，我們可以將轉碼過程的QA解耦為兩個步驟：壓縮的QA；調整大小的QA。如下所示，SSIM在壓縮版本上執行，同時不調整大小。然後通過將懲罰因子應用於壓縮版本來近似計算每個調整大小的格式的單獨質量分數。調整大小的比例是決定懲罰因子的一個因素：調整大小的版本越小，損失的結構細節越多，所以懲罰因子越高。通過確定懲罰因子來取代重新取樣更為有效，並且能夠減少我們運行SSIM的次數。
在360度視頻中，分辨率的變化不是來自調整大小，而是來自視場內像素密度的變化。隨著用戶註視點朝更高/更低像素密度的區域移動，觀看內容（即視場內的內容）的分辨率將將隨之增加/減少。比例系數與懲罰因子不同，因為它可以減少或增加SSIM360得分。
對於基於視圖的投影，視場內的分辨率會發生變化，就好像視頻分辨率通過“視場內的像素密度”與“整個幀的像素密度”之間的比率進行升級或降級一樣。
2.3 360VQM
通過將以上技巧應用到我們定制的QA工作流程中，我們解決瞭360度視頻會話QA中的翹曲和視場問題。SSIM360取代SSIM來處理編碼中的扭曲，而懲罰因子則由比例因子所取代（因視圖改變引起的像素密度變而衍生出來）。這一QA工作流程的結果稱為360VQM：360度視頻質量指標。它可以準確高效地捕捉編碼過程中的質量變化，並在播放過程中將分辨率變化的影響體現在最終分數上。
3。 總結
隨著360度媒體的不斷發展，關於如何處理和呈現沉浸式內容的標準化QA工作流程變得更加重要。SSIM360和360VQM是Facebook開發的兩項新QA標準，其可以幫助我們驗證360度視頻管道在編碼和傳輸上的性能。這兩個標準都已完全納入Facebook的生態系統，並且提供瞭可靠的量化指標以幫助改進Facebook上的沉浸式體驗。Facebook表示，他們很高興與大傢分享這一進展，並希望他們的努力將有助於形成廣泛普及的沉浸式內容QA標準。
fro油煙處理設備m：映維
用思想控制的VR遊戲即將誕生！
想象一下，如果僅僅通過思想就能夠讓一臺機器完成您的命令，不需要按任何按鍵，打字，按屏幕或遙控器輸入，隻需要通過大腦的力量...
月流水100萬+是常態 深度探秘日本VR線下體驗館
2018-03-12 17:29台中註冊商標:47
來自：廠商新聞
Socionext與Varjo合作開發全球首款“人眼解析度”VR/XR頭顯
先進視覺影像SoC應用技術領導廠商Socionext Inc。（以下“索喜科技”或“公司”）宣佈，與芬蘭科技公司Varjo合作開發新一代V...
暫無...
2018-03-12 18:05:36
來自：快訊專欄靜電機安裝
Facebook一直致力於推動360度技術的發展，他們已經開拓瞭一系列的新概念，如偏移立方體貼圖（offset cubemaps），動態流式傳輸（dynamic streaming）和基於內容的流式傳輸（content-dependent streaming）。對於每一項新技術，重要的是與原先方法比較沉浸式體驗的質量，比如分辨率，位速度，或者結構相似性。一項可靠的質量評估工作流程能夠為比較360度瀏覽會話提供一致的標準，並且幫助我們衡量是否應該在生態系統中采用新的360度技術。
遺憾的是，業內尚未出現普遍認可的360度內容QA標準，而針對傳統非360度媒介的現有QA工作流程無法捕捉360度視頻的相關屬性：沉浸感和觀影控制。360度視頻的每一幀都壓縮瞭一個全方向的球形場景，而這在編碼水平上需要將其翹曲成矩形幀。這種翹曲操作影響瞭傳統的逐幀圖像QA，並且令結果變得相當不可靠。另外，用戶在360度視頻播放期間可以控制任意時刻的觀影方向，這意味著最終的視圖質量取決於用戶視場的幀區域，而非整體的球形幀。
Facebook為需要應對翹曲和視場問題的360度視頻傳輸開發瞭一種新QA工作流程，並向我們介紹瞭兩種新標準：SSIM360和360QVM。這兩個標準在單個編碼和播放組件的質量上，以及傳輸會話的整體質量上分別提供瞭量化的指標。Facebook指出，隨著新功能的推出，這可以支持他們理解360度管道中每一個組件的性能表現，並且追蹤編碼效率和播放質量上的增益。下面，映維網將向大傢介紹Facebook的QA工作流程，並希望這可以促進更廣泛的360度內容開發者社區量化和分享他們的開發，從而創建更具沉浸感的體驗。
1。 編碼質量評估
1.1 對傳統非360度SSIM的簡單介紹
結構相似性指標（Structural Similarity Index，SSIM）是廣泛用於評估圖像和視頻編碼的QA指標。全參考QA采用兩幅輸入圖像：參考圖像（如原始內容）和變化圖像（如編碼內容），並且輸出0和1之間的分數。分數代表兩幅圖像的結構相似性：1分表示圖像相同，因此質量保存良好；；0意味著兩者完全不同，這意味著嚴重的結構變形。當SSIM用於視頻QA時，評估是逐幀完成的，而且僅在兩個輸入視頻的長度和幀速率完全相同時才起作用。
跟大部分的圖像處理算法類似，SSIM不會一次性測量整幅圖像。相反，它從兩個輸入圖像中采樣較小的區域（類似於圖像壓縮中的宏塊）並比較樣本。在最初的論文中，作者提出瞭一個用於這一采樣的11×11高斯內核，而ffmpeg的vf_ssim濾波器使用瞭一個統一的8×8方塊（如上圖所示）。我們從每個樣本中獲取一個SSIM值。為瞭獲取每幅圖像的SSIM，我們計算每個樣本的SSIM平均數。為瞭獲取整個視頻的SSIM，我們進一步平均計算所有幀的每圖像SSIM。
1.2 翹曲問題
SSIM中的采樣區域是靜態的（即相同的大小，相同的形狀），並且在最終的平均計算中具有相同的權重。例如在上面的ffmpeg實現中，不管位置如何，圖像中每一個8×8區域對最終的SSIM分數都具有同樣的影響力。但360度媒介並非如此。
請比較上面的兩張世界地圖。左邊地圖的編碼器會降低畫面下部的質量（南極洲）；而右邊地圖的編碼器隻是左邊編碼地圖的重定向版本。當渲染至3D球體時，這兩張地圖應該看起來完全一樣（除瞭方向），所以它們從360度內容QA中得到的分數也應該是相同。但是，如果我們使用SSIM作為我們的QA標準，則左邊地圖分數會較低。原因是由於等量矩形中靠近垂直中心的翹曲較少，所以右邊地圖“糟糕質量”部分（南極洲）所占的比例較小。在SSIM的8×8取樣方塊中（在兩個地圖上呈現為紅色放寬），左邊地圖中南極洲占據的區域被采樣23次，而右邊地圖隻有12次，所以這導致瞭不同的平均SSIM分數。這表明非360度SSIM過程並不可靠，因為相同的360度內容卻輸出瞭不同的值。
1.3 快照
一種防止翹曲影響的方法是，直接對360度球體中的渲染視圖進行取樣，而非采用等量矩形的渲染視圖。我們從360度球體中的所有可能視角方向獲取無限數量的方形快照。這種樣本是平坦圖像，同時進行瞭加權平均，所以翹曲問題將不復存在，而且SSIM將是一個有效的QA。
為瞭防止翹曲，在饋送至非360 SSIM之前先獲取平面圖像的快照（V1，…，Vn）。 最終的“Snapshot SSIM”分數將通過匯總所有的每快照SSIM分數進行計算。
雖然可靠，但這種方法的計算復雜性使其成為不可行的360度圖像QA解決方案。使用我們的Transform360庫來從給定視圖中獲取單個快照並不是一件簡單的事情，更不用說獲取無限數量的快照並且逐個運行SSIM。但是，我們可以使用匯總的快照分數作為驗證我們新SSIM360標準的基礎事實。
1.4 SSIM360
另一種解決翹曲問題的方法是，在計算平均值時為每樣本SSIM得分加權。加權取決於采樣區域在影像中的拉伸程度：拉伸越多，加權越小。這可以通過“樣本覆蓋的渲染球體比例”和“樣本覆蓋的幀比例”的比例進行計算。每個樣本對最終分數的貢獻不同，所以能有效地消除翹曲影響。原始SSIM的加權平均版本稱為SSIM360。
為瞭驗證SSIM360的結果，我們將其與Snapshot SSIM進行比較。我們針對不同的紋理和動態特征的360視頻，以及不同的編解碼器，縮放和質量保存目標進行瞭驗證實驗。然後通過1）SSIM，2）SSIM360和3）Snapshot SSIM評估這些降級測試用例。
上圖中是SSIM360和SSIM的累積分佈函數（CDF），而我們可以看到SSIM360幾乎能在所有的百分比中把錯誤減少約50%。錯誤定義為Snapshot SSIM分數與每個QA（SSIM360，SSIM）輸出分數之間的絕對差異。從計算角度而言，由於SSIM360隻是通過可預先計算的權重圖來替換每樣本SSIM聚合中的統一加權，因此SSIM360與傳統SSIM一樣有效。
2。 播放質量台灣電動床工廠評估
2.1 視場問題
SSIM360是在不確定用戶註視點的情況下評估編碼級別的質量。但在播放質量評估中，我們必須考慮到視圖方向。在任何特定時間下，隻有大約15%的360度場景會保留在用戶視場中。這意味著通過SSIM360計算的整體球形幀質量將不再具有代表性。當我們在內容交付框架中采用基於視圖的優化時，情況尤其如此。基於視圖的優化技術（如偏移投影，基於顯著性的編碼，以及基於內容的流式傳輸）基本上將位分配（相當於大多數情況下的像素分配）偏向視頻中感知更重要的區域。它們並沒有提高整個畫面的質量，而是優化用戶最有可能註視的區域。
右圖顯示瞭偏移投影的像素密度圖（假設中心的感知重要性更高）。與左邊投影相比（沒有基於視圖的優化），聚焦區域（紅色圓圈）內的質量要高得多。SSIM360無法捕捉到這種優化，因為它側重於整個畫面，而且在這個例子中兩邊的整體像素數量實際上是完全一樣。
2.2 從視圖到像素密度，從像素密度到質量縮放
我們通過兩個映射解決瞭視場問題：一個是從視圖方向到像素密度，另一個則是從像素密度到應用於SSIM360得分的比例系數。第一個映射考慮瞭編碼中使用的投影，以及播放期間的視圖方向和視場，並且詢問每個時間點內有多少像素停留在視場之中。換句話說，紅圈中有多少像素？通過已知的像素密度圖，我們可以通過封閉型幾何公式來有效地計算答案。
第二個映射通過引入反映像素密度變化的比例系數來調整SSIM360的質量分數。在非360度QA中，我們會使用類似的技術來評估縮小尺寸所導致的質量下降（即除毛-擺脫老舊型的除毛方式,任何毛髮一網打盡∣真空除毛推薦~聖雅諾美學診所將圖像“縮小”到更小的寬度/高度）。由於SSIM假定參考圖像和變化圖像具有相同的尺寸，因此縮小後的圖像必須放大至原始尺寸，並重新采樣以評估質量下降情況。我們不可以忽略這所需要的計算工作，特別是我們要評估轉碼過程。轉碼過程會產生數十種具有不同維度的編碼格式，而所有這些都需要在單獨的QA過程中重新采樣，如下所示。
要避免這種計算開銷，我們可以將轉碼過程的QA解耦為兩個步驟：壓縮的QA；調整大小的QA。如下所示，SSIM在壓縮版本上執行，同時不調整大小。然後通過將懲罰因子應用於壓縮版本來近似計算每個調整大小的格式的單獨質量分數。調整大小的比例是決定懲罰因子的一個因素：調整大小的版本越小，損失的結構細節越多，所以懲罰因子越高。通過確定懲罰因子來取代重新取樣更為有效，並且能夠減少我們運行SSIM的次數。
在360度視頻中，分辨率的變化不是來自調整大小，而是來自視場內像素密度的變化。隨著用戶註視點朝更高/更低像素密度的區域移動，觀看內容（即視場內的內容）的分辨率將將隨之增加/減少。比例系數與懲罰因子不同，因為它可以減少或增加SSIM360得分。
對於基於視圖的投影，視場內的分辨率會發生變化，就好像視頻分辨率通過“視場內的像素密度”與“整個幀的像素密度”之間的比率進行升級或降級一樣。
2.3 360VQM
通過將以上技巧應用到我們定制的QA工作流程中，我們解決瞭360度視頻會話QA中的翹曲和視場問題。SSIM360取代SSIM來處理編碼中的扭曲，而懲罰因子則由比例因子所取代（因視圖改變引起的像素密度變而衍生出來）。這一QA工作流程的結果稱為360VQM：360度視頻質量指標。它可以準確高效地捕捉編碼過程中的質量變化，並在播放過程中將分辨率變化的影響體現在最終分數上。
3。 總結
隨著360度媒體的不斷發展，關於如何處理和呈現沉浸式內容的標準化QA工作流程變得更加重要。SSIM360和360VQM是Facebook開發的兩項新QA標準，其可以幫助我們驗證360度視頻管道在編碼和傳輸上的性能。這兩個標準都已完全納入Facebook的生態系統，並且提供瞭可靠的量化指標以幫助改進Facebook上的沉浸式體驗。Facebook表示，他們很高興與大傢分享這一進展，並希望他們的努力將有助於形成廣泛普及的沉浸式內容QA標準。
fro油煙處理設備m：映維
用思想控制的VR遊戲即將誕生！
想象一下，如果僅僅通過思想就能夠讓一臺機器完成您的命令，不需要按任何按鍵，打字，按屏幕或遙控器輸入，隻需要通過大腦的力量...
月流水100萬+是常態 深度探秘日本VR線下體驗館
2018-03-12 17:29台中註冊商標:47
來自：廠商新聞
Socionext與Varjo合作開發全球首款“人眼解析度”VR/XR頭顯
先進視覺影像SoC應用技術領導廠商Socionext Inc。（以下“索喜科技”或“公司”）宣佈，與芬蘭科技公司Varjo合作開發新一代V...
暫無...
2018-03-12 18:05:36
來自：快訊專欄靜電機安裝
全站熱搜
留言列表
