擊碎次元壁! Google 的 3D 全息通話黑科技進入試用階段,視頻通話要被顛覆了

愛範兒 於 19/10/2022 發表 收藏文章

如果你的異地戀對象過生日,你會怎麼給他/她慶祝?

發一段微信消息?單純的文字好像略顯冰冷。

打一通電話?真切的情感似乎釋放得不夠徹底。

撥一個視頻電話?總有點看得見碰不着的缺失感。


這個時候,我們總會想:如果能夠第一時間出現在對方的身旁,那就最好了。

然而,多啦 A 夢的任意門對於 21 世紀的人類科技來説還是過於超前,但先別急着氣餒,至少現在我們已經可以傳送一個虛擬的自己到對方的面前。

什麼?你以為我又要講玄之又玄的元宇宙了?


我所説的可不是一個沒有腳的漫畫卡通化身,而是與你長得幾乎一模一樣,並且全息立體的「你」。

與「真人」對話

在去年的 5 月 Google I/O 大會上,Google 的 CEO Sundar Pichai 發佈了可以不需要依靠頭戴設備就能實現 3D 全息視頻通話項目—— Project Starline。


Project Starline 是 Google 內部高度保密的實驗項目之一,根據 Google 的研究員透露,項目小組在 6 年前就已經開始做相關的技術研究,一直到 2021 年才向公眾發佈,而在此之後又沉寂了幾乎一整年。

就在人們以為這是 Google 又一「畫大餅」項目時,Project Starline 在最近邀請了包括 The Verge 在內的媒體和合作夥伴前往實驗室親身體驗。


The Verge 編輯 Jay Peters 在體驗後感嘆稱,這是他迄今體驗過最真實的一次虛擬現實交互,「感覺就像是科幻小説照進了現實」。

人類通訊手段一直緊跟信息技術的發展在不斷升級。從古早的電報文到電話、再到視頻通話,人類傳遞信息的維度不斷升級,信息傳遞的及時性和內容也在不斷提高。


如果以這兩個維度作為發展的座標軸的話,我們不難想象,通訊技術的下一個階段將會涵蓋聲音、影像、空間位置等更豐富的內容,並能以幾乎無延遲的方式瞬時傳輸。

在很多科幻電影中,科幻創作者認為全息立體影像通話便是符合這一定義的下一代通信手段。

也就是説,繼人類成功地把熟悉的人臉帶到身邊之後,下一步就是把「本人」帶來現場。

於是乎,Project Starline 項目應運而生。

Starline 的產品管理總監 Andrew Nartker 在接受媒體採訪時提到,他們在通信技術方面取得的突破,能讓用户與世界各地的人們變得更加親密,彼此之間的聯繫也更加緊密。


從 Project Starline 的裝置外表來看,它似乎和「3D」「全息影像」等高科技詞彙不太沾邊——要知道在科幻電影裏,主角們都是通過一個充滿未來感的金屬圓形底座進行全息立體投影通話,與之相比,Project Starline 更像是一個精緻一點的梳妝枱。

當 Project Starline 的大屏亮起時,遲到的科技感才慢慢地鋪陳開來。


Jay Peters 稱,Project Starline 就像是一塊具有魔法的窗户,將兩間房間連在了一起,坐在他對面的谷歌研究員看起來和真人的高度、長相幾乎一致,當他遞過來一個蘋果時,他甚至能通過畫面上的陰影感受到近似真實世界的空間距離感。

這像是一場發生在同一張桌子上的面對面交流,其擬真程度幾乎讓人忘了兩間測試房實際上相隔甚遠。


之所以用「擬真」來形容這場別開生面的會談(你平時一定不會聽到有人説視頻通話裏的人長得好逼真),是因為畫面終端顯示的畫面其實並非是單純的影像畫面,而是根據圖像、深度等信息重新渲染的「虛擬人」,而這是營造超現實臨場感的關鍵。
3D 的秘密

將真人虛擬化為什麼反而會更加真實?要理解這個問題先要從 Project Starline 的工作原理下手。


坐在這張精緻「梳妝枱」面前,最矚目的莫過於這塊 65 寸的大屏幕,這可不是普通的家用電視,而是一塊 8K/60Hz 的 3D 光場顯示器,Google 的研究員稱其單眼可觀測的像素密度是 Oculus Quest 等 VR 設備的兩倍,可以有更精細的立體顯示效果。


要讓這塊光場顯示器顯示出立體效果,就需要採集物體的深度信息。研究員在屏幕的上方和底部都安置了多個雙目立體相機和紅外相機,這樣就能結合多角度的深度信息還原出人物的空間距離感。


在屏幕的兩側和上方還安裝了多個單色跟蹤攝像頭,用於對人物臉部五官的實時 3D 定位,這樣當人物在移動時也能精準地還原人物模型。

▲ 真人照片

▲ 渲染效果

當這些採集到的位置和畫面信息傳輸到了接收端,系統會根據觀眾左右眼的位置渲染出三個深度流,與紋路流混合渲染出逼真的「虛擬人」。

這時候,當觀眾的眼睛位置改變,圖像的位置也會跟隨眼球移動做細微的位置偏轉,這是傳統 2D 影像所不能提供的空間真實感。

Project Starline 除了要在視覺上打破「次元壁」外,在聽覺上也下了不少功夫。


在輸入端,麥克風可以配合臉部追蹤的數據形成具有指向性的動態波束,以實現降噪和抗干擾。在輸出端,追蹤系統則能定位觀眾的耳朵,模擬出對話的空間方位感,讓聲音聽起來就像是屏幕中的嘴巴説出來一樣。


試想一下,當你要與同事、合作伙伴舉行重要的視頻會議時,與會者不再需要全神貫注地盯着狹小的屏幕,眼神不用再迷離在攝像頭之外,而是可以與你做自然的眼神接觸,甚至能用一些肢體語言輔助表達,這樣的參會體驗將會是一種質的飛躍。

不過現階段 Project Starline 距離實際應用仍然有很長一段路要走。

Wired 的編輯 Lauren Goode 在體驗過 Project Starline 後表示,雖然全息視頻的視覺效果在大多數時間都很棒,但當人物移動幅度過大時,原本立體的圖像就會短暫變回平面,體驗不甚完美。


Google 的研究員也提到,在處理形狀複雜(例如蓬鬆的毛髮、光學眼鏡)或者運動物體時,時常會有錯誤的「偽影」出現,其團隊目前正致力於提高影像處理的準確性。

除了技術上的障礙,佈設一整套 Project Starline 的成本也相當高昂,昂貴的光場顯示器和各種光學攝像頭註定了 Project Starline 在目前只能是實驗室產品,要想打入消費者市場幾乎不太可能。

Andrew Nartkerct 在接受 The Verge 採訪時坦誠説道,Project Starline 是一項振奮人心的全新技術,是空間交互領域的一次突破性的探索,但目前它仍很難稱得上是一件「產品」。

海內存知己,天涯若比鄰

那麼,Project Starline 花這麼大力氣到底是要解決些什麼呢?項目組給出的答案也很簡單:讓你感覺到你和一個真正的人在一起。


在過去的一年裏,以 Zoom 為代表的遠程會議軟件在企業、學校得到了廣泛的使用,人們因為各種原因分隔開,不得不通過這些視頻軟件協同工作,甚至組織一次難得見面,人與人之間的聯繫也因此被沖淡。

微軟在一份關於視頻會議對工作效率的影響的報告中提到,人們在視頻會議中會比現實溝通更容易分心,這是人們在面對高壓力的視頻會議下的自然應對反應。

而能提供真人對話體驗的 Project Starline,似乎能消除這種妨礙溝通的壓力感。


雖然 Project Starline 佈滿各式各樣的攝像器材,但當其工作起來後,這些冷冰冰的技術都會被參會者拋到腦後,因為這時候在他面前與之溝通坐着的是一個近乎真實的「人」。

Google 的研究員經過對比實驗後發現,相比於傳統視頻溝通,使用 Project Starline 溝通的參會者會有更多的眼神接觸和肢體語言,在溝通結束後能夠回憶的內容也要多出 28%。這也許就是自然溝通的魅力。

目前 Project Starline 僅在 Google 內部給員工們做小範圍的實驗,Google 稱從今年開始會陸續地向包括 Salesforce,WeWork,T-Mobile 在內的合作伙伴開放測試,推動人與人建立更深的聯繫。


Project Starline 未來會得到普及,成為 3D 時代的電話亭嗎?

對於這樣一個技術超前的項目來説,這個問題在目前很難給出一個定論,Project Starline 可能會成功成為一個真正的產品,也被過高的成本拖垮導致胎死腹中,甚至可能成為 Google 未來 AR、VR 技術的一部分。

但無論怎樣,這種呼應人們真實需求的未來科技,值得科技圈投入更多的關注。

畢竟,在人們習慣分離的當下,沒什麼比親眼見上一面更加珍貴。


資料來源:愛範兒(ifanr)
標籤: D 全息通話  

留言


請按此登錄後留言。未成為會員? 立即註冊
    快捷鍵:←
    快捷鍵:→