比 iPhone XR 還厲害!新 iPhone SE 如何實現單攝虛化?

雷鋒網 於 06/05/2020 發表 收藏文章
售價僅為3299元(RMB)的iPhone SE2,雖然並不支持5G網絡,但是憑藉蘋果A13芯片+IOS系統成為了一款“真香機”。

不過,有些業內人士表示,iPhone SE2手機並沒有太多的亮點,它更像是一款換芯版的iPhone 8。

4月27日,iFixit 分享了iPhone SE2拆解報告,確認大部分iPhone SE2的零件可以與iPhone 8通用。其中,iPhone SE2的相機傳感器可以與iPhone 8互換。


手機具有便捷性這個顯著的特徵,這似乎和攝影功能是天造地設的一對。很顯然,整個電子影像行業比用户更早察覺到這一點。

iPhone SE2的攝像功能怎麼樣?

對於攝影愛好者來説,iPhone SE2只配備1200萬像素的鏡頭,並缺少廣角和微距鏡頭。iPhone SE2不支持超級夜景模式,前置攝像頭只有700萬像素。

iPhone SE2是第一部只使用單個2D圖像就不會產生人像效果的iPhone。

例如,當使用Halide這款應用進行測試時可以發現,第一方相機僅允許在人物主體上使用人像模式。

當發現這個情況的時候,有些用户會表示iPhone XR也如此。儘管iPhone XR具有單個攝像頭,但它仍然可以通過硬件獲得深度信息。

iPhone XR利用了傳感器的聚焦像素,用户可以將它們視為旨在幫助手機聚焦的微小“眼睛”。

iPhone XR利用從每隻“眼睛”中看到非常細微的差異來生成非常粗糙的深度圖。

iPhone SE2無法使用聚焦像素,因為iPhone SE2的傳感器覆蓋範圍不足,但是,iPhone SE2完全可以通過機器學習來產生具有深度的照片。

iPhone SE2的這個特點可以進行簡單的測試:拍攝照片而不是實物。

例如,以全屏方式加載這張照片,然後使用iPhone SE2進行拍攝:


從圖片上可以看出,使用iPhone XR的時候可以看到幾乎平坦的表面,似乎是使用了彩色圖像改進了該深度圖,可以猜測該圖中間的部分略高於前景中。


然而,iPhone SE2生成完全不同的深度圖。儘管這個深度圖是錯誤的,但是結果讓人難以置信!

iPhone SE2在現實世界中的表現如何?

iPhone SE2非常適合給人進行拍攝,但是當鏡頭裏沒有人出現時,這部手機有時會出錯。

例如,手機將背景中的樹木與狗狗的頭部混淆了。


以下圖為例,當用户使用iPhone 11 Pro和SE2拍攝了該照片,很明顯,擁有多個攝像頭可以生成更好的數據。


儘管iPhone 11捕捉了整個走廊的深度,但iPhone SE2卻錯過了退到背景中的地板。


這對真實世界的照片意味着什麼?以擁有不同層次的多肉植物為例。


iPhone 11 Pro在深度圖中顯示出明顯的邊緣;iPhone SE2獲得了事物的要點。


如果用户更喜歡iPhone SE2的外觀,則始終可以使用iPhone 11 Pro重新創建它。但是,用户無法在iPhone SE2上獲得iPhone 11 Pro的獨特分層。

分層是Apple的另一個機器學習過程中發揮作用的地方。

除了iPhone XR外,Apple還引入了“ Portrait Effects Matte” API,可以檢測照片中的人物並創建非常細膩的模糊成相。


只要前景中的物體清晰且聚焦,大多數用户都可以在背景模糊的情況下玩兒轉攝影。

沒有什麼可以阻止Apple讓用户對所有事物進行深度照片拍攝,但是Apple寧願設置“人像模式僅適合人”的情景,也不願讓深度效果不能達到預期而讓用户失望。

機器學習是否會達到不再需要多相機設備?

人類的大腦遠強於機器這毋庸置疑。與全新的iPad Pro不同,人類的眼睛沒有任何激光雷達可以為人們提供深度信息。相反,人類的大腦卻可以從許多源頭收集信息。

最好的深度來源於人類每隻眼睛的兩個圖像,人類大腦在圖像之間“連接點”的差異越大,物體與人眼的距離就越遠。這種雙目方式類似於雙攝像頭iPhone的深度功能。
猜測深度的另一種方法是通過運動。當人們走路時,遠處物體的視覺移動速度比附近的物體慢。

這類似於增強現實應用程序感測用户在世界中位置的方式。對於攝影師來説,這不是一個很好的解決方案,因為在拍攝照片之前要求某人在空中揮動手機幾秒鐘是很麻煩的。

那麼,iPhone如何從單個(單眼)靜止圖像中找出深度?

可以想象一下一個用一隻眼睛看世界的人,他過正常生活的時候會經歷許多麻煩。例如,開車要花費更多的精力。

正常視覺的人以其他線索來判斷距離,例如已知對象的相對大小。


【 圖片來源:信息時報 所有者:信息時報 】

在猜測深度時,單個圖像可以有多種解決方案。

歸根結底,神經網絡具有魔力,但它們受到與人類智能相同侷限性的約束。

在某些情況下,僅一張圖像是不夠的。機器學習模型可能會提出合理的深度圖,但這並不意味着它可以反映現實。

如果用户的目標是準確捕獲場景,以最大程度地編輯緯度,則在這裏需要雙攝像頭系統或其他傳感器如激光雷達。

機器學習會超越多相機手機嗎?顯然是不可以的。

正如拿攝像機與人眼相比,從物種起源開始算起,人類用億萬年的時間進化出來的肉眼,目前來看眼睛的能力機器是無可替代的。

因此,如果想要機器學習的速度趕超多相手機,那麼至少需要學習幾年甚至幾十年的時間。

雷鋒網(公眾號:雷鋒網)雷鋒網雷鋒網

參考鏈接:https://blog.halide.cam/iphone-se-the-one-eyed-king-96713d65a3b1

雷鋒網原創文章,未經授權禁止轉載。詳情見轉載須知


資料來源:雷鋒網
作者/編輯:代潤澤

如果喜歡我們的文章,請即分享到︰

標籤: iPhone SE  

留言

會員
我要評論
請按此登錄後留言。未成為會員? 立即註冊
快捷鍵:←
快捷鍵:→