所謂虛擬現實,就是要欺騙人的眼睛和大腦,讓虛擬世界感覺跟真實世界一樣。目前好的VR產品已經在這方面做得相當不錯了,但仍有進步空間。下面要説的就是一項可以讓虛擬世界更好模擬真實世界的技術。
人眼看世界與VR渲染方式
人眼能看到的範圍是有限的,因此產生了一個名詞叫人眼視度。人眼視度指的是人不動頭時的可視角度。我們身處一個360度環繞的世界,但任何時候我們只能查看120度視度範圍內的事物,並且我們的雙眼會聚焦在視野中一小塊不超過6度的區域(中央凹+近中央凹視野),周圍則是模糊的(周邊視野),這就是我們看世界的方式。
頂級的VR頭顯(HTC Vive、Oculus Rift)的可視角度能達到110度左右(與眼睛和屏幕之間的距離有關),與人眼視度非常接近。我們在VR頭顯中看到的世界,也只是它的屏幕所顯示內容的一部分,而真正聚焦的更是這一小部分中的一小塊區域。但是VR設備在渲染畫面時卻是對整個視野進行渲染,不在人眼聚焦的畫面一樣在以相同的速度刷新。
由於VR設備的高分辨率和刷新率,這種渲染方式需要消耗大量的GPU資源,使得PC平台的頭盔對顯卡要求很高(通常在GTX 970以上),而移動VR則很難達到良好的體驗。
不過,一些公司已經在着手解決問題,Nvidia推出了MRS(multi-resolution shading)技術,國內公司七鑫易維則希望在此基礎上加入焦點渲染(Foveated rendering)技術。
分區渲染的MRS
去年5月,Nvidia在自家針對VR的開發者套件GameWorks VR中加入了MRS技術。這項技術使得針對VR的渲染不再是將整個畫面以相同的分辨率進行渲染,而是分成了幾個不同的區域。
畫面的中央,也就是人眼在VR中看到的主要區域,也是畫面沒有畸變的地方,會以完整的高分辨率進行渲染;而畫面的邊緣則以更低質量進行渲染,再加上邊緣的像素經過變形後的損失,可以節省25%-50%的像素,理論上可以提升一倍的渲染效果。
使用Nvidia Maxwell架構的顯卡,包括GeForce Titan X和GTX 900系列,目前都支持這一技術。
在接受雷鋒網(搜索“雷鋒網”公眾號關注)採訪時,Nvidia全球副總裁、中國區總經理張建中也對這項技術進行了解釋:
焦點渲染
國內創業公司七鑫易維目前正與Nvidia合作,在MRS技術的基礎之上,使用眼球追蹤技術進一步開發出焦點渲染技術(也叫注視點渲染),從而進一步縮小高清渲染畫面的區域。
據七鑫易維CEO黃通兵介紹,焦點渲染通過近紅外傳感器對人的眼球進行追蹤,判斷人眼的注視點,只對注視點區域進行高清渲染,而且這個區域會隨着注視點的變化而變化。
上圖是雷鋒網記者在試用注視點渲染技術時電腦屏幕顯示的畫面,可以看到記者的視線焦點停留在小屋上時,畫面中只有小屋是清晰的,而周圍一大片區域則是模糊的。但是當你戴着頭盔看時,幾乎分辨不出和沒有使用這項技術的畫面的區別。
官方表示這個方案可以在保證用户體驗的情況下,將渲染像素降低到MRS方案的10%左右,最終適配VR設備的PC比例可以提升至30%。
眼球追蹤會對整個畫面渲染帶來延遲,黃通兵表示他們解決了這個問題,他表示目前追蹤技術最高可以做到380Hz的刷新率,如果以通常提供的220Hz計算,會給渲染帶來5ms的延時。但是,由於使用焦點渲染,GPU的負擔減輕,使得其渲染延時可以降低至5ms,最終使得整體延時仍然低於20ms的坎。
這項技術也仍有一些問題需要解決,包括針對戴眼鏡的用户,眼鏡會影響眼球追蹤的效果;還有HTC Vive這類產品使用的菲涅爾透鏡,其同心圓也會干擾到信號。
國際上亦有廠商在開發類似的技術,包括Tobii、SMI、FOVE和Eyefluence,但是這個領域還沒有形成標準。
目前七鑫易維除了跟Nvidia合作外,也在跟高通、HTC、Oculus以及國內VR頭顯廠商合作研究這項技術,具體的產品面世時間仍有待確定,但據悉高通的一體機方案會重點推這個技術,國內的大朋和3Glasses也很積極。
資料來源:雷鋒網
作者/編輯:劉方平
人眼看世界與VR渲染方式
人眼能看到的範圍是有限的,因此產生了一個名詞叫人眼視度。人眼視度指的是人不動頭時的可視角度。我們身處一個360度環繞的世界,但任何時候我們只能查看120度視度範圍內的事物,並且我們的雙眼會聚焦在視野中一小塊不超過6度的區域(中央凹+近中央凹視野),周圍則是模糊的(周邊視野),這就是我們看世界的方式。
頂級的VR頭顯(HTC Vive、Oculus Rift)的可視角度能達到110度左右(與眼睛和屏幕之間的距離有關),與人眼視度非常接近。我們在VR頭顯中看到的世界,也只是它的屏幕所顯示內容的一部分,而真正聚焦的更是這一小部分中的一小塊區域。但是VR設備在渲染畫面時卻是對整個視野進行渲染,不在人眼聚焦的畫面一樣在以相同的速度刷新。
由於VR設備的高分辨率和刷新率,這種渲染方式需要消耗大量的GPU資源,使得PC平台的頭盔對顯卡要求很高(通常在GTX 970以上),而移動VR則很難達到良好的體驗。
不過,一些公司已經在着手解決問題,Nvidia推出了MRS(multi-resolution shading)技術,國內公司七鑫易維則希望在此基礎上加入焦點渲染(Foveated rendering)技術。
分區渲染的MRS
去年5月,Nvidia在自家針對VR的開發者套件GameWorks VR中加入了MRS技術。這項技術使得針對VR的渲染不再是將整個畫面以相同的分辨率進行渲染,而是分成了幾個不同的區域。
畫面的中央,也就是人眼在VR中看到的主要區域,也是畫面沒有畸變的地方,會以完整的高分辨率進行渲染;而畫面的邊緣則以更低質量進行渲染,再加上邊緣的像素經過變形後的損失,可以節省25%-50%的像素,理論上可以提升一倍的渲染效果。
使用Nvidia Maxwell架構的顯卡,包括GeForce Titan X和GTX 900系列,目前都支持這一技術。
在接受雷鋒網(搜索“雷鋒網”公眾號關注)採訪時,Nvidia全球副總裁、中國區總經理張建中也對這項技術進行了解釋:
引用傳統的眼鏡都是魚眼的,傳統的GPU渲染的是長方形,長方形變成魚眼,用傳統的方法去渲染是不行的。所以我們想了一個比較聰明的方法,我們把視覺圖形分成九塊,用不同的方式去渲染,這樣把效率提高大概50%左右。結果就相當於以前可能一秒鐘渲染90幀,現在可以做到140幀左右,這樣你就可以看到更高清晰度。
焦點渲染
國內創業公司七鑫易維目前正與Nvidia合作,在MRS技術的基礎之上,使用眼球追蹤技術進一步開發出焦點渲染技術(也叫注視點渲染),從而進一步縮小高清渲染畫面的區域。
據七鑫易維CEO黃通兵介紹,焦點渲染通過近紅外傳感器對人的眼球進行追蹤,判斷人眼的注視點,只對注視點區域進行高清渲染,而且這個區域會隨着注視點的變化而變化。
上圖是雷鋒網記者在試用注視點渲染技術時電腦屏幕顯示的畫面,可以看到記者的視線焦點停留在小屋上時,畫面中只有小屋是清晰的,而周圍一大片區域則是模糊的。但是當你戴着頭盔看時,幾乎分辨不出和沒有使用這項技術的畫面的區別。
官方表示這個方案可以在保證用户體驗的情況下,將渲染像素降低到MRS方案的10%左右,最終適配VR設備的PC比例可以提升至30%。
眼球追蹤會對整個畫面渲染帶來延遲,黃通兵表示他們解決了這個問題,他表示目前追蹤技術最高可以做到380Hz的刷新率,如果以通常提供的220Hz計算,會給渲染帶來5ms的延時。但是,由於使用焦點渲染,GPU的負擔減輕,使得其渲染延時可以降低至5ms,最終使得整體延時仍然低於20ms的坎。
這項技術也仍有一些問題需要解決,包括針對戴眼鏡的用户,眼鏡會影響眼球追蹤的效果;還有HTC Vive這類產品使用的菲涅爾透鏡,其同心圓也會干擾到信號。
國際上亦有廠商在開發類似的技術,包括Tobii、SMI、FOVE和Eyefluence,但是這個領域還沒有形成標準。
目前七鑫易維除了跟Nvidia合作外,也在跟高通、HTC、Oculus以及國內VR頭顯廠商合作研究這項技術,具體的產品面世時間仍有待確定,但據悉高通的一體機方案會重點推這個技術,國內的大朋和3Glasses也很積極。
資料來源:雷鋒網
作者/編輯:劉方平
請按此登錄後留言。未成為會員? 立即註冊