從2份專利文件,一窺Amazon Go到底藏了什麼黑科技?

雷鋒網 於 08/12/2016 發表 收藏文章
今天的Amazon Go刷爆了國內外的社交媒體。

Amazon Go令人驚豔的地方,就是你可以徑直走進超市,選好貨品之後立馬離開,不用在收銀台前排長長的隊伍,等待結賬。


甚至還莫名有一種從商店“搶劫”的快感。


我們説,移動支付顛覆了既有商品交易方式,那麼這種“搶劫式”的Amazon Go甚至連“交易感”都消滅了。

總之,人們被這種新奇的似乎隱含了某種黑科技的新型購物方式所吸引。不僅是普通人,就連斯坦福教授李飛飛、著名科技出版公司O'reilly創始人Tim O'Reilly都特地發推點贊。

李飛飛:計算機視覺十分顯著和絕妙的應用!


Tim O'Reilly:零售業的未來,我對此已經期待很多年了。


Amazon Go的亮點

用户進入商店,穿過閘機的時候打開手機讓其識別,這時手機裏的系統啟動,並隨時準備更新物品清單。令人驚豔的部分就是,在用户拿走或放回物品的一瞬間,手機裏的系統會自動更新清單。最後,用户拿着物品滿意地離開,手機自動扣款。


這裏面到底有什麼黑科技呢?就官方發佈的視頻來看,技術亮點有三個:機器視覺、深度學習算法和傳感器融合


但僅有這幾個關鍵詞還是不夠的,雷鋒網遂向亞馬遜在職員工進行採訪,但是對方表示Amazon Go還屬於保密項目,公司要求不能對外透露任何細節。

不過在Quora上,有一位名為Brian Roemmele的網友挖出了幾年前亞馬遜提交的兩份專利文件,裏面描繪的系統跟如今的 Amazon Go非常相似。這兩份文件名稱為:“偵測物體互動和移動”(Detecting item interaction and movement)和“物品從置物設備上的轉移”(Transitioning items from the materials handling facility),兩文件分別於2013年和2014年申請(感興趣的朋友可以在公眾號回覆關鍵詞“專利”,下載2份專利文件)。

這兩份專利文件都描繪了十分龐雜的應用場景,包括:貨倉、船運、零售市場等,所以很多人當初在看到這份文件時,都以為這是亞馬遜為自己的倉儲系統量身定製的,不過今天一切真相大白。

這兩份專利分別講了什麼?

“偵測物體互動和移動”(Detecting item interaction and movement)這份專利的摘要是:

引用用户從一個貨架上拿起或放下一個物品,貨物管理系統可以偵測到這個動作,並且更新用户移動設備裏的清單。

“物品從置物設備上的轉移”(Transitioning items from the materials handling facility)這份專利的摘要是:

引用物品被識別,並且當用户正在拿起物品時,物品自動與用户發生關聯。 當用户進入或穿過一個“轉移區”(Transition Area),被拿起的物品將自動轉移到用户,而不需要用户有任何的輸入。

總的來説就是,被識別的物體與用户發生關聯,能自動更新清單,並在“轉移區”進行自動交易(“轉移區”在Amazon Go裏指的就是商店的出口)。

我們可以從下面一張圖裏,一窺 Amazon Go 的基本原型。


圖中代號為208的物體都是攝像頭,大約有10多個(有一些被人體擋住)。208攝像頭分別置於天花板(如圖左右兩邊各有一個比較大的攝像頭)、貨架兩側和貨架內部。文件裏描述到,天花板上的208用來採集用户和貨品的位置、貨架兩側的208用來捕捉用户的圖像和周圍的環境,貨架內的208用來確定貨品的位置或用户手的移動(進入和離開貨架)。

而從視頻裏,我們隱約能夠看到安置在貨架內部的攝像頭。


另外,專利文件裏還補充道:這裏的攝像頭可以是多種類型的,可以是RGB攝像頭,或深度感知攝像頭。除了攝像頭之外,也可以有其他輸入設備,比如壓力傳感器、紅外傳感器、體積位移傳感器、光幕等等。壓力傳感器可以偵測物品移出和進入的時間,紅外傳感器可以用來區分用户和的手和物品。

我們具體並不清楚Amazon Go到底在多大程度上使用了計算機視覺技術。比如説,當用户進出商店時,都需要對用户進行識別,文件裏反覆提到可以用人臉識別技術實現,但是又會繼續補充説明可以通過手機等移動設備來偵測。

Quora網友Anurag Ranjan是一位機器視覺和深度學習領域的準PhD,他分析稱:

引用Amazon Go使用商店裏的攝像頭識別出了用户,可能針對用户拍了幾張照片,依靠一些標準的深度學習網絡形成了一幅特徵圖,比如Resnet,、GoogLeNet 或者 VGG 這樣的。總之,當用户踏進店裏的那一刻起,Amazon Go就知道用户長什麼樣了。

但是根據專利和既有經驗來看,在整個過程中用計算機視覺來追蹤用户,代價太高了。我們大致可以確定的是,貨架上的一排排攝像頭應該就是對用户進行“動作識別”,並且識別出物體是否被拿走(這裏也或許是傳感器實現的)。

不過整個過程中的難點是,如何將物品與用户進行唯一綁定

雲從科技高級算法工程師周翔告訴雷鋒網,Amazon Go具體用到哪些技術,目前我們只能夠猜測,他提到可能的實現機制是:

引用通過手機做到了精準定位人,然後物體的具體位置可以大概確定,一旦人附近的物品離開,同時最近的人的ID就會關聯這個物品ID。

置物架肯定用到了壓力傳感器,一旦物品離開,就會明確知道什麼物品在什麼地點離開,一旦物品回來,壓力傳感器同樣會感應到。

深度學習可能是學習了人的購物習慣,可能用到計算機視覺做了人的動作識別,然後根據物品與人的ID進行關聯,也就是二次確認。同時分析一個人的購物喜好,推測他會買的東西,提前做一些預判。

周翔提出,可能Amazon Go根本沒有用到人臉識別的技術,“國外對人臉的隱私權是比較高的,未經允許採集他人的人臉會被起訴的”。雷鋒網(公眾號:雷鋒網)也關注到,在李飛飛的那篇推文下,有網友對此持抵觸態度,認為如果是人臉採集,侵犯了自己的隱私。

Amazon Go的出現驚豔了很多人,不過並不是所有人對此表示歡迎,除了上文提到的隱私問題外,有不少人擔憂,如果這種技術大範圍普及(我們知道亞馬遜是多喜歡2B業務),大量超市收銀員將會失去工作,畢竟亞馬遜在視頻裏承諾要在 2017年初,於西雅圖上線第一家Amazon Go。

不過這種技術究竟有多少“實操性”,還是存在很多的疑惑的,例如:

引用
  • 如果好幾個人擠到一起買同一類東西(比如商場打折搶貨,這是經常發生的),那麼物品與人的ID關聯還能保持精準嗎?
  • 如果用户把商品放回的位置是錯的呢,這樣也會被收費嗎?
  • 如果有人搞怪,將自己家空果汁瓶取代商店裏的新鮮果汁,那麼Amazon Go識別的出來嗎?

“所以,這裏要求購物的人得非常有素質才行”,周翔對雷鋒網説道。我們對Amazon Go的諸多疑惑,或許過幾個月就能在西雅圖見分曉。

相關文章:

深度丨 Yoshua Bengio 得意門生詳解機器學習生成對抗網絡(含86頁PPT)

雷鋒網原創文章,未經授權禁止轉載。詳情見轉載須知


資料來源:雷鋒網
作者/編輯:亞萌

留言


請按此登錄後留言。未成為會員? 立即註冊
    快捷鍵:←
    快捷鍵:→