前言
國內的廠商對于VR頭顯的延遲總是顯得不屑一顧，每次發布會上，都聲稱產品的延遲控制在18ms、17ms、16ms，仿佛拳打oculus、腳踢VIVE。中國的廠家真的這么厲害?到底VR頭顯的延遲以及造成暈眩是什么樣的原因?
延遲是什么
VR“延遲”(delay)是指從人的頭部移動開始一直到頭顯設備(HMD)的光學信號映射到人眼上面全部的等待時間(latency
time)。其中需要經過的全步驟如下圖所示。
延遲會影響玩家的注意力，延遲較大的時候會產生暈動癥(motion
sickness)，也就是俗稱的暈車暈船。其原理是視覺接受的自身的身體狀態，與負責感知身體狀態的中耳前庭器官不一致，中樞神經對這一狀態的反饋就是惡心，來提醒身體狀態的異常。簡單來說，戴上VR頭顯移動頭部的時候，由于延遲，視覺觀察到的變化比身體感覺到的慢慢，產生沖突繼而造成暈眩。
根據研究，這個延遲只有控制在20ms以內，人體才不會有排斥反應。同時超過20ms也不一定就會造成暈眩惡心，就像有些人暈車有的人不暈，每個人的體質對延遲的敏感度和排斥反應的大小不同。對于筆者來說，本身就容易暈車暈船，所以使用VR設備的時候延遲稍高就很快會暈;而一些人即使使用延遲比較高的設備，也不會立馬就暈。
所以一些廠商宣稱的所謂暈眩只是個別情況，產品設備本身完全沒問題是不正確的。他們的產品并不是滿足了20ms延遲的要求，從而讓佩戴者不會產生暈眩。只是許多佩戴者的抗暈動癥能力比較強，才沒有產生暈眩。
美國傳奇程序師，FPS和3D之父約翰·卡馬克曾在2014年寫過一篇文章介紹VR頭顯的延遲問題，在這篇文章的基礎上，結合這兩年VR行業相關技術的發展，來談談VR延遲的問題。
傳感器以及信號傳輸造成延遲
從頭部移動開始，VR頭顯內置陀螺儀或者空間定位儀器就會捕捉人體的移動，接受信號傳輸到電腦處理器中處理。
對于傳感器本身而言，比較好的傳感器幀率基本都在1000hz左右，所以傳感器接收人體移動信號造成的延遲在1ms左右，再加上單片機處理信號和傳輸到電腦的工作，這一過程大概在3ms。
這一過程中，數據傳輸和濾波造成的延遲基本是固定的。但是由于傳感器的幀率(比較好的傳感器可以達到1000HZ)和渲染的幀率不一致，所以會帶來一個可變的延遲。 在傳感器方面，對頭部活動的預測有可能降低一定的延遲。但是即使有一個很復雜的人類頭部模型，這也只能處理頭部以一個比較均勻的速度移動的情況，對于頭部開始運動和運動狀況劇變的情況很難處理。
合理安排傳感器進行數據采樣，一定程度上可以降低延遲。大多數模擬輸入的任務不直接依賴于用戶的輸入數據，即是說這一數據的輸入對一幀的延遲影響不大。如果在需要用戶輸入的數據時采樣，而不是在一開始就離線緩存輸入數據，則能減少總體的延遲。這種方法被稱之為延遲幀調度(
late frame scheduling)，其缺點在于需要大量的調度，提高了整體的功耗。
顯示帶來的延遲
然后就是圖像顯示造成的延遲。現在的頭顯屏幕主要分為LCD屏和OLED屏幕，現代技術下，一個優秀的LDC屏幕上面一個像素從一個值轉變成另一個值需要大約10ms，經過優化這個數值可以降低一半。相比之下，OLED的像素轉化所需要的時間更少，一般都在只1ms以內。
除此之外，有一個問題：傳統顯示器都是逐行顯示圖像的，所以對于一個60HZ的屏幕來說，底部的圖像會比頂部的圖像晚16ms。這在靜止的屏幕里沒有關系，但是在任何圖像都是實時渲染的HMD里就會產生很大的差別。看起來就好像顯示比較慢的邊緣部分被減掉了，頭部移動的時候畫面也會由于延遲看起來就像是在震動。尤其是對刷新速率較高的使用OLED屏幕的HMD來說，顯得非常明顯。
不過隨著屏幕技術的發展，現在的AMOLED以及TFTLCD這種有源矩陣屏幕的已經很好的解決了屏幕顯示延遲的問題。這些屏幕上每一個像素點都可以控制開關，屏幕上的圖像可以在同一時間顯示，尤其使用AMOLED屏幕，可以把圖像顯示這一步的延遲控制到數毫秒之內。但是AMOLED屏幕的核心技術主要掌握在韓國，整體的出貨量也比較低，國內很少有VR頭顯設備使用這種屏幕。
圖像處理造成的延遲
圖像處理的時間是指從輸入信號以數字形式存儲進內存開始，到做成下一個傳輸到屏幕里的完整的幀為止，需要花費的時間。
圖像處理的工序主要分為數字信號的降噪、場景的渲染以及后續的反畸變反色散處理。主要有三種方式可以減少花費的時間以及提高最終的畫質。
第一種是雙GPU立體渲染。由于VR頭顯由兩塊屏幕組成，如果將圖形處理系統分拆成兩個，并分別配備一個 GPU，每個 GPU
只需單獨渲染一塊屏幕的圖像，這樣可以達到最佳的性能表現和最低的延遲，其代價是要求設備能夠管理兩個相互獨立的渲染內容的緩存。如果設備無法維持兩個 GPU
的緩存，設備的數據吞吐性能會下降，在緩存過載的情況下，還會導致幀率更嚴重地下降。
第二種降低延遲的方法是允許渲染層基于最新的采樣數據修改游戲層傳過來的參數(VIEW
BYPASS)。計算出本次用戶輸入與上次采樣的差值，用于修改游戲層提交給渲染層的視圖矩陣差值處理，從而減少處理的工作量。
第三種是Time Wraping，根據新輸入的數據后期處理渲染過的圖像。繪制出一副高質量的圖像之后(使用過 View
bypass)，這幅圖像不直接顯示，而是讓開發者繼續抓取用戶輸入的最新的數據，生成更新的視覺矩陣，然后計算出與輸入數據相匹配的已渲染圖像需要變形成什么樣，放置在什么位置。經過這一次轉換之后，渲染變形后的圖像能與與用戶實際操作后應該看到的圖像更相符。
后二者的結合，相當于把用戶的操作造成的圖像渲染工作降到最低。而通過連續的time wraping，圖像渲染花費的延時將被降到最低。而view
bypass則保證圖像可以最大程度的避免最終呈像的視差。這種算法的出現，可以縮短圖像渲染所花費的數十毫秒的延遲。
老包子語
如果這么來看，降低延遲應該是一件非常容易的事情。然而，這中間從傳感器到屏幕到算法的各個工序，只要有一項出差錯，就會提升產品的延遲，最終造成用戶的暈眩。而很多廠商宣稱的延遲，往往是理論計算值或者估計省略從頭部移動到最終顯示中間會耗費的一些工序。希望做VR設備的國內廠商，能夠踏踏實實的從算法開始，一點點的打磨產品，最終真正解決20ms延遲這一VR頭顯的最低門檻
更多VR行業干貨分享、第一手的VR資訊、獨到的VR行業分析，盡在VR那點事，掃下方二維碼關注。
