揭祕微軟黑科技，HoloLens 是這樣煉成的 精選

本文作者 徐浩 ,中國科大理論物理專業在讀， 對航空、計算機感興趣，愛玩無人機。本文首發知乎，已獲得作者轉載授權。
今日，微軟 Kinect 技術參與人 Alex Kipman 介紹了微軟新一代虛擬現實技術 Holograms。Holograms 藉助頭戴設備，讓用户以實際環境作為載體，實時處理、獲取虛擬信息。比如，在牆上獲取消息、查找聯繫人，在地上、傢俱間玩遊戲、在客廳牆上直接進行 Skype 視頻通話、觀看球賽。事實上，用户甚至不需要任何信息載體，所有數據都直接通過頭戴設備呈現在用户眼前。

與此同時，微軟也發佈了自有 Holograms 技術設備 HoloLens。從外觀上，看這款設備很可能使用了微軟此前購買的 ODG 智能眼鏡相關技術。據介紹，HoloLens 帶有透明鏡片，內置高端 CPU 和 GPU。

看過這段視頻，絕對是款拽酷炫屌咋天。沉寂了這麼多年的微軟，似乎終於要崛起了。那要如何評價HoloLens 的黑科技呢？

以下為正文：

引用宣傳視頻裏面的一句話：

It was science fiction, Microsoft brings it into science fact.

HoloLens所實現的效果並不是微軟一家的創新，他早已流傳在種種科幻電影中。HoloLens是一個Oculus＋Kinect＋Jetson TK1集成起來的夾在鼻樑上的嵌入式怪物。腦補一下把Kinect帶到頭上的情景吧。微軟做到了！
首先給沒有看宣傳視頻的孩子介紹下HoloLens吧，HoloLens是一個基於深度攝像頭，高性能處理器和雙屏幕顯示的進階版Glass，長這個樣子，具體參見微軟官網。


根據我目前看到的信息，HoloLens 需要的技術支持包括三個部分：

• 實時的三維計算

這是遊戲屆玩爛的東西，可以説在阿凡達之後拉開了一個時代的幕布，經過NVIDIA、Intel等公司的苦心經營，實時的雙攝像頭渲染已經很成熟。微軟終於把這種技術推向了更廣的領域。下圖這種效果在也就是現在是遊戲級別的水平。

• 精準的姿態確定和位置確定

根據網上流傳的信息，可以肯定微軟採用了基於深度識別的SLAM（實時定位與地圖構建）技術。這裏解釋一下什麼是SLAM，就是通過傳感器獲取環境的有限信息，比如視覺信息、深度信息、自身的加速度和角速度等來確定自己的相對或者絕對位置，並完成對於地圖的構建。

SLAM的準確度對於最後的顯示效果非常重要，姿態確定就不是事兒。幾十塊的電容式陀螺儀或者幾百塊的MEMS抄幾段代碼就好，但怎麼確定位置就是微軟的功力了。當然深度攝像頭這種事情微軟常年吊打整個行業，Kinect快成行業標準了（幫助了多少論文發表）。想想我們用的激光雷達的價格。真是要哭了。

電影中，使用小型探測器掃描出來了隧道全景並且全息呈現了出來。對應到現實《普羅米修斯》裏面用的是這種玩意，相當於一輛低配的奧迪A8的價格，可以發射幾十束激光同時掃描。Google無人車也用這種激光雷達來進行實時的路況分析。


微軟做到的可是實現了三年前科幻電影的效果啊！


注意這張圖，微軟暗示進入一個房間之前要先進行掃描，這裏明顯是在用Deep Camera生成Point Cloud然後三角面片進行SLAM（我實驗室的某個師兄在微軟實習的時候，做的畢業設計也是這個，微軟在這個技術上的積累很強的）。如果確定是和Kinect類似的紅外攝像頭，那麼可以認為kinect有的毛病他都會有，比如對黑色物體、光滑表面的探測。
可以説，HoloLens的核心難度是深度探測和相關的手勢識別。這可是微軟的專長了。所以HoloLens就是一個戴到了鼻樑上的Kinect。

為什麼説SLAM對於HoloLens非常重要呢？因為只有實現了靠譜的SLAM，才能知道眼鏡的空間座標和相對於室內各種障礙物的位置，同時識別出各種室內擺件的形狀，這是宣傳片中人機交互的基礎。


在視頻中，主人公一直在走動，畫面的穩定性很好。


注意上圖這裏，可以看到對於各個表面的貼合度已經達到了SLAM的程度。

• 圖像識別技術

這裏注意到一個細節，展示在三維空間中的UI很像是Autodesk Fusion的UI，難道自動桌已經先行一步？來自官網的一張圖片，可以看到使用的正是Autodesk。

作為半個工程師，我當時買Leap Motion就是為了玩Solidworks Fusion。現在有了HoloLens，比Fusion體驗不知道酸爽多少倍。腦補一下去參觀EAST的時候眼睛裏顯示出EAST剖面的情景。不能再震撼了。
這三個技術在近些年成熟，促成了HoloLens 產品化。之前Google Glass的設想與此類似，Hololens把它推向了現實。


其實Hololens所實現的效果也不是新鮮貨。早在冷戰末期，武裝直升機飛行員就通過頭盔裏面的信息來操作機槍所瞄準的方向。這兩年我軍也有裝備。當年Su35的“回馬槍”向後發射的導彈就是用尾椎雷達和頭盔瞄準具實現的。

更進一步，上圖用到的也是類似的技術。

不過，根據技術分析，Hololens可能會遇到如下一系列困難：

第一，耗電量。計算視覺、SLAM，以及反過向進行三維虛擬現實，都是常耗費計算量的任務。Hololens是時勢造英雄的產品，這種計算量在二十年前可是阿拉莫斯實驗室用於核聚變模擬的計算量。現在只要耗電量跟的上，NVIDIA的Tegra K1還有Intel家的協處理器在嵌入式上飆計算量沒問題。
第二，是在開放環境、欠光線環境的識別度問題。我對此持保守態度，得拿到產品再説。

第三，是定位精準度問題。這是老大難問題了。


事實上，上圖中這種配合將成為很長一段時間內的主流。
如果修的不是自來水管而是血管，看到的是通過B超技術實時掃描出來的人體內部，那麼未來的醫院會是怎麼樣的。

如果顯示的不是自來水管的manual，而是實時匹配無人機的爆炸視圖，那麼以後的工廠和DIY是怎麼樣的。

讓人難以想象的是，這一切居然要成真了！

微軟研究院養了那麼多人真的不是白養的。目前來看，微軟在這些技術上解決的都非常好。

另外十分看好HoloLens+無人機的交互。拿到貨以後我要做的第一件事情就是把我們的無人機系統移植上去。這畫面太美。我簡直不敢想。

還有多系統配合，這是像iPhone可以推動21世紀曆史進程的玩意。
買買買！

估計Google也會坐不住了，也會有大動作，相關技術大部分（包括廉價的深度攝像頭）都是開源的，估計很快會有公司扛包出現類似設備的開源硬件和軟件，市場一刺激華強北也不會安分，投資空間有多大。各位手裏有錢的主，都掂量掂量吧。由iPhone引發的歷史軌跡就是證明。

看起來，全息估計不會成為主流發展方向了。

不過，我最好奇的還是，這個東西進入中國以後，廣電會不會要求接入都要審批（顯然會搶電視機的飯碗）。

[本文來自讀者的投稿，不代表36氪立場]

資料來源：36Kr