大數據思維的十大原理:當樣本數量足夠大時,你會發現其實每個人都是一模一樣的

虎嗅網 於 04/07/2015 發表 收藏文章

六、預測原理

從不能預測轉變為可以預測

大數據的核心就是預測,大數據能夠預測體現在很多方面。大數據不是要教機器像人一樣思考,相反,它是把數學算法運用到海量的數據上來預測事情發生的可能性。正因為在大數據規律面前,每個人的行為都跟別人一樣,沒有本質變化,所以商家會比消費者更了消費者的行為。

例如:大數據助微軟準確預測世界懷。微軟大數據團隊在2014年巴西世界足球賽前設計了世界懷模型,該預測模型正確預測了賽事最後幾輪每場比賽的結果,包括預測德國隊將最終獲勝。預測成功歸功於微軟在世界懷進行過程中獲取的大量數據,到淘汰賽階段,數據如滾雪球般增多,常握了有關球員和球隊的足夠信息,以適當校準模型並調整對接下來比賽的預測。

世界盃預測模型的方法與設計其它事件的模型相同,訣竅就是在預測中去除主觀性,讓數據説話。預測性數學模型幾乎不算新事物,但它們正變得越來越準確。在這個時代,數據分析能力終於開始趕上數據收集能力,分析師不僅有比以往更多的信息可用於構建模型,也擁有在很短時間內通過計算機將信息轉化為相關數據的技術

幾年前,得等每場比賽結束以後才能獲取所有數據,現在,數據是自動實時發送的,這讓預測模型能獲得更好的調整且更準確。微軟世界懷模型的成績説明了其模型的實力,它的成功為大數據的力量提供了強有力的證明,利用同樣的方法還可預測選舉或關注股票。類似的大數據分析正用於商業、政府、經濟學和社會科學,它們都關於原始數據進行分析。

我們進入了一個用數據進行預測的時代,雖然我們可能無法解釋其背後的原因。如果一個醫生只要求病人遵從醫囑,卻沒法説明醫學干預的合理性的話,情況會怎麼樣呢?實際上,這是依靠大數據取得病理分析的醫生們一定會做的事情。

從一個人亂穿馬路時行進的軌跡和速度來看他能及時穿過馬路的可能性,都是大數據可以預測的範圍。當然,如果一個人能及時穿過馬路,那麼他亂穿馬路時,車子就只需要稍稍減速就好。但是這些預測系統之所以能夠成功,關鍵在於它們是建立在海量數據的基礎之上的。

此外,隨着系統接收到的數據越來越多,通過記錄找到的最好的預測與模式,可以對系統進行改進。它通常被視為人工智能的一部分,或者更確切地説,被視為一種機器學習。真正的革命並不在於分析數據的機器,而在於數據本身和我們如何運用數據。一旦把統計學和現在大規模的數據融合在一起,將會顛覆很多我們原來的思維。所以現在能夠變成數據的東西越來越多,計算和處理數據的能力越來越強,所以大家突然發現這個東西很有意思。所以,大數據能幹啥?能幹很多很有意思的事情。

例如,預測當年葡萄酒的品質

很多品酒師品的不是葡萄酒,那時候葡萄酒還沒有真正的做成,他們品的是發爛的葡萄。因此在那個時間點就預測當年葡萄酒的品質是比較冒險的。而且人的心理的因素是會影響他做的這個預測,比如説地位越高的品酒師,在做預測時會越保守,因為他一旦預測錯了,要損失的名譽代價是很大的。所以的品酒大師一般都不敢貿然説今年的酒特別好,或者是特別差;而剛出道的品酒師往往會“語不驚人死不休的”。

普林斯頓大學有一個英語學教授,他也很喜歡喝酒,喜歡儲藏葡萄酒,所以他就想是否可以分析到底哪年酒的品質好。然後他就找了很多數據,比如説降雨量、平均氣温、土壤成分等等,然後他做迴歸,最後他説把參數都找出來,做了個網站,告訴大家今年葡萄酒的品質好壞以及祕訣是什麼。

當他的研究公佈的時候,引起了業界的軒然大波,因為他做預測做的很提前,因為今年的葡萄收穫後要經過一段的時間發酵,酒的味道才會好,但這個教授突然預測説今年的酒是世紀最好的酒。大家説怎麼敢這麼説,太瘋狂了。更瘋狂的是到了第二年,他預測今年的酒比去年的酒更好,連續兩次預測説是百年最好的酒,但他真的預測對了。現在品酒師在做評判之前,要先到他的網站上看看他的預測,然後再做出自己的判斷。有很多的規律我們不知道,但是它潛伏在這些大數據裏頭。

例如,大數據描繪“傷害圖譜”

廣州市傷害監測信息系統通過廣州市紅十字會醫院、番禺區中心醫院、越秀區兒童醫院3個傷害監測哨點醫院,持續收集市內發生的傷害信息,分析傷害發生的原因及危險因素,系統共收集傷害患者14681例,接近九成半都是意外事故。整體上,傷害多發生於男性,佔61.76%,5歲以下兒童傷害比例高達14.36%,家長和社會應高度重視,45.19%的傷害都是發生在家中,其次才是公路和街道。

收集到監測數據後,關鍵是通過分析處理,把數據“深加工”以利用。比如,監測數據顯示,老人跌倒多數不是發生在雨天屋外,而是發生在家裏,尤其是旱上剛起牀時和浴室裏,這就提示,防控老人跌倒的對策應該着重在家居,起牀要注意不要動作過猛,浴室要防滑,加扶手等等。

説明:用大數據預測思維方式來思考問題,解決問題。數據預測、數據記錄預測、數據統計預測、數據模型預測,數據分析預測、數據模式預測、數據深層次信息預測等等,已轉變為大數據預測、大數據記錄預測、大數據統計預測、大數據模型預測,大數據分析預測、大數據模式預測、大數據深層次信息預測。

互聯網、移動互聯網和雲計算機保證了大數據實時預測的可能性,也為企業和用户提供了實時預測的信息,相關性預測的信息,讓企業和用户搶佔先機。由於大數據的全樣本性,人和人都是一樣的,所以雲計算機軟件預測的效率和準確性大大提高,有這種跡象,就有這種結果。

七、信息找人原理

從人找信息,轉變為信息找人

互聯網和大數據的發展,是一個從人找信息,到信息找人的過程。先是人找信息,人找人,信息找信息,現在是信息找人的這樣一個時代。信息找人的時代,就是説一方面我們回到了一種最初的,廣播模式是信息找人,我們聽收音機,我們看電視,它是信息推給我們的,但是有一個缺陷,不知道我們是誰,後來互聯網反其道而行,提供搜索引擎技術,讓我知道如何找到我所需要的信息,所以搜索引擎是一個很關鍵的技術。

例如:從搜索引擎——向推薦引擎轉變。今天,後搜索引擎時代已經正式來到,什麼叫做後搜索引擎時代呢?使用搜索引擎的頻率會大大降低,使用的時長也會大大的縮短,為什麼使用搜索引擎的頻率在下降?時長在下降?原因是推薦引擎的誕生。就是説從人找信息到信息找人越來越成為了一個趨勢,推薦引擎就是説它很懂我,知道我要知道,所以是最好的技術。喬布斯説,讓人感受不到技術的技術是最好的技術。

大數據還改變了信息優勢。按照循證醫學,現在治病的第一件事情不是去研究病理學,而是拿過去的數據去研究,相同情況下是如何治療的。這導致專家和普通人之間的信息優勢沒有了。原來我相信醫生,因為醫生知道的多,但現在我可以到Google上查一下,知道自己得了什麼病。

Google有一個機器翻譯的團隊,最開始的時候翻譯之後的文字根本看不懂,但是現在60%的內容都能讀得懂。Google機器翻譯團隊裏頭有一個笑話,説從團隊每離開一個語言學家,翻譯質量就會提高。越是專家越搞不明白,但打破常規讓數據説話,得到真理的速度反而更快。

説明:用信息找人的思維方式思考問題,解決問題。從人找信息到信息找人,是交互時代一個轉變,也是智能時代的要求。智能機器已不是冷冰冰的機器,而是具有一定智能的機器。信息找人這四個字,預示着大數據時代可以讓信息找人,原因是企業懂用户,機器懂用户,你需要什麼信息,企業和機器提前知道,而且主動提供你需要的信息。

八、機器懂人原理

由人懂機器轉變為機器更懂人

不是讓人更懂機器,而是讓機器更懂人,或者説是能夠在使用者很笨的情況下,仍然可以使用機器。甚至不是讓人懂環境,而是讓我們的環境來懂我們,環境來適應人,某種程度上自然環境不能這樣講,但是在數字化環境中已經是這樣的一個趨勢,就是我們所在的生活世界,越來越趨向於它更適應於我們,更懂我們。哪個企業能夠真正做到讓機器更懂人,讓環境更懂人,讓我們隨身攜帶的整個的生活世界更懂得我們的話,那他一定是具有競爭力的了,而“大數據”技術能夠助我們一臂之力。

例如:亞馬遜網站,只要買書,就會提供一個今天司空見慣的推薦,買了這本書的人還買了什麼書,後來發現相關推薦的書比我想買的書還要好,時間久之後就會對它產生一種信任。這種信任就像在北京的那麼多書店裏面,以前買書的時候就在幾家,原因在於我買書比較多,他都已經認識我了,都是我一去之後,我不説我要買什麼書,他會推薦最近上來的幾本書,可能是我感興趣的。這樣我就不會到別的很近的書店,因為這家書店更懂我。

例如,解題機器人挑戰大型預科學校高考模擬試題的結果,解題機器人的學歷水平應該比肩普通高三學生。計算機不擅長對語言和知識進行綜合解析,但通過藉助大規模數據庫對普通文章做出判斷的方法,在對話填空和語句重排等題型上成績有所提高。

讓機器懂人,是讓機器具有學習的功能。人工智能已轉變為研究機器學習。大數據分析要求機器更智能,具有分析能力,機器即時學習變得更重要。機器學習是指:計算機利用經驗改善自身性能的行為。機器學習主要研究如何使用計算機模擬和實現人類獲取知識(學習)過程、創新、重構已有的知識,從而提升自身處理問題的能力,機器學習的最終目的是從數據中獲取知識。

大數據技術的其中一個核心目標是要從體量巨大、結構繁多的數據中挖掘出隱蔽在背後的規律,從而使數據發揮最大化的價值。由計算機代替人去挖掘信息,獲取知識。從各種各樣的數據(包括結構化、半結構化和非結構化數據)中快速獲取有價值信息的能力,就是大數據技術。大數據機器分析中,半監督學習、集成學習、 概率模型等技術尤為重要。

説明:用機器更懂人的思維方式思考問題,解決問題。機器從沒有常識到逐步有點常識,這是很大的變化。去年,美國人把一台雲計算機送到大學裏去進修,增加知識和常識。最近俄羅斯人開發一台計算機軟件通過圖林測試,表明計算機已初步具有智能。

讓機器懂人,這是人工智能的成功,同時,也是人的大數據思維轉變。你的機器、你的軟件、你的服務是否更懂人?將是衡量一個機器、一件軟件、一項服務好壞的標準。人機關係已發生很大變化,由人機分離,轉化為人機溝通,人機互補,機器懂人,現在年青人已離不開智能手機是一個很好的例證。在互聯網大數據時代,有問題—問機器—問百度,成為生活的一部分。機器什麼都知道,原因是有大數據庫,機器可搜索到相關數據,從而使機器懂人。是人讓機器更懂人,如果機器更懂人,那麼機器的價值更高。

九、電子商務智能原理

大數據改變了電子商務模式,讓電子商務更智能

商務智能,在今天大數據時代它獲得的重新的定義。

例如:傳統企業進入互聯網,在掌握了“大數據”技術應用途徑之後,會發現有一種豁然開朗的感覺,我整天就像在黑屋子裏面找東西,找不着,突然碰到了一個開關,發現那麼費力的找東西,原來很容易找得到。大數據思維,事實上它不是一個全稱的判斷,只是對我們所處的時代某一個緯度的描述。

大數據時代不是説我們這個時代除了大數據什麼都沒有,哪怕是在互聯網和IT領域,它也不是一切,只是説在我們的時代特徵裏面加上這麼一道很明顯的光,從而導致我們對以前的生存狀態,以及我們個人的生活狀態的一個差異化的一種表達。

例如:大數據讓軟件更智能。儘管我們仍處於大數據時代來臨的前夕,但我們的日常生活已經離不開它了。交友網站根據個人的性格與之前成功配對的情侶之間的關聯來進行新的配對。例如,具有“自動改正”功能的智能手機通過分析我們以前的輸入,將個性化的新單詞添加到手機詞典裏。在不久的將來,世界許多現在單純依靠人類判斷力的領域都會被計算機系統所改變甚至取代。計算機系統可以發揮作用的領域遠遠不止駕駛和交友,還有更多更復雜的任務。別忘了,亞馬遜可以幫我們推薦想要的書,Google可以為關聯網站排序,Facebook知道我們的喜好,而linkedIn可以猜出我們認識誰。

當然,同樣的技術也可以運用到疾病診斷、推薦治療措施,甚至是識別潛在犯罪分子上。或者説,在你還不知道的情況下,體檢公司、醫院提醒你趕緊去做檢查,可能會得某些病,商家比你更瞭解你自己,以及你這樣的人在某種情況下會出現的可能變化。就像互聯網通過給計算機添加通信功能而改變了世界,大數據也將改變我們生活中最重要的方面,因為它為我們的生活創造了前所未有的可量化的維度。

説明:用電子商務更智能的思維方式思考問題,解決問題。人腦思維與機器思維有很大差別,但機器思維在速度上是取勝的,而且智能軟件在很多領域已能代替人腦思維的操作工作。例如美國一家媒體公司已用電腦智能軟件寫稿,可用率已達70%。雲計算機已能處理超字節的大數據量,人們需要的所有信息都可得到顯現,而且每個人互聯網行為都可記錄,這些記錄的大數據經過雲計算處理能產生深層次信息,經過大數據軟件挖掘,企業需要的商務信息都能實時提供,為企業決策和營銷、定製產品等提供了大數據支持。

十、定製產品原理

由企業生產產品轉變為由客户定製產品

下一波的改革是大規模定製,為大量客户定製產品和服務,成本低、又兼具個性化。比如消費者希望他買的車有紅色、綠色,廠商有能力滿足要求,但價格又不至於像手工製作那般讓人無法承擔。因此,在廠家可以負擔得起大規模定製帶去的高成本的前提下,要真正做到個性化產品和服務,就必須對客户需求有很好的瞭解,這背後就需要依靠大數據技術。

例如:大數據改變了企業的競爭力。定製產品這是一個很好的技術,但是能不能夠形成企業的競爭力呢?在產業經濟學裏面有一個很重要的區別,就是生產力和競爭力的區別,就是説一個東西是具有生產力的,那這種生產力變成一種通用生產力的時候,就不能形成競爭力,因為每一個人,每一個企業都有這個生產力的時候,只能提高自己的生產力,過去沒有車的時候和有車的時候,你的活動半徑、運行速度大大提高了,但是當每一個人都沒有車的時候,你有車,就會形成競爭力。大數據也一樣,你有大數據定製產品,別人沒有,就會形成競爭力。

在互聯網大數據的時代,商家最後很可能可以針對每一個顧客進行精準的價格歧視。我們現在很多的行為都是比較粗放的,航空公司會給我們里程卡,根據飛行公里數來累計里程,但其實不同顧客所飛行的不同里程對航空公司的利潤貢獻是不一樣的。所以有一天某位顧客可能會收到一封信,“恭喜先生,您已經被我們選為幸運顧客,我們提前把您升級到白金卡。”這説明這個顧客對航空公司的貢獻已經夠多了。有一天銀行説“恭喜您,您的額度又被提高了,”就説明錢花得已經太多了。

正因為在大數據規律面前,每個人的行為都跟別人一樣,沒有本質變化。所以商家會比消費者更了消費者的行為。也許你正在想,工作了一年很辛苦,要不要去哪裏度假?打開e-Mail,就有航空公司、旅行社的郵件。

説明:用定製產品思維方式思考問題,解決問題。大數據時代讓企業找到了定製產品、訂單生產、用户銷售的新路子。用户在家購買商品已成為趨勢,快遞的快速,讓用户體驗到實時購物的快感,進而成為網購迷,個人消費不是減少了,反而是增加了。為什麼企業要互聯網化大數據化,也許有這個原因。2000萬家互聯網網店的出現,説明數據廣告、數據傳媒的重要性。

企業產品直接銷售給用户,省去了中間商流通環節,使產品的價格可以以出廠價銷售,讓銷費者獲得了好處,網上產品便宜成為用户的信念,網購市場形成了。要讓用户成為你的產品粉絲,就必須瞭解用户需要,定製產品成為用户的心願,也就成為企業發展的新方向。

大數據思維是客觀存在,大數據思維是新的思維觀。用大數據思維方式思考問題,解決問題是當下企業潮流。大數據思維開啟了一次重大的時代轉型。

(蔣衞東撰寫此稿參考了互聯網資料。20015年5月8日於寧)

*文章為作者獨立觀點,不代表虎嗅網立場


資料來源:虎嗅網
< 1 2 >

留言


請按此登錄後留言。未成為會員? 立即註冊
    快捷鍵:←
    快捷鍵:→