什么是不確定性
什么是不確定性?打個比方，老王、老李做一個游戲“猜花生米”。老王出一只拳頭，讓老李猜里面是空的還是抓了一粒花生米。這個事件對老王而言是確定性事件，因為老王自己有沒有抓花生米，他心知肚明。這個事件對猜拳的老李來說就是不確定性事件，因為老李無法對老王的猜拳決策做出絕對準確的預測。
在實際生活中，不確定性事件廣泛存在。事實上，人生就是由一系列或大或小的不確定性事件構成的。婚姻選擇有著極大的不確定性。一對相愛的男女是否應該接受對方成為自己的終身伴侶，這是一個重大選擇。這個選擇的后果是什么?是幸福的遠航，還是痛苦的開始?這有很大的不確定性。為了極小化這種不確定性，青年男女往往需要一場死去活來的戀愛，以便充分暴露雙方的優(yōu)點和缺點，以減少未來婚姻中的不確定性。但是，無論你如何了解，這種不確定性仍然存在。
世界到處都充滿了不確定性，那我們對未來的世界認識是不是不可知的?答案是否定的。世界上很多事情是難以用確定的公式或者規(guī)則來表示，但是這種不確定性并不是無規(guī)律可循，這個時候就需要用到統(tǒng)計學中的概率模型來描述。在概率論的基礎上，信息論鼻祖香農博士建立了一套完整的理論，將世界的不確定性和信息聯(lián)系起來，這就是信息論，用來解釋不確定性的世界。
信息可消除不確定性
什么是信息?在看《暗時間》時(推薦大家看看)，里面討論了一些信息論相關的內容，于是就嘗試搜索信息論和不確定性的關系，結果發(fā)現(xiàn)香農說了這么一句話：“信息是用來消除不確定性的東西”。信息論的鼻祖果然是鼻祖，一句話解釋了信息。
信息是否可以被度量?如何度量信息?1948年，香農提出了“信息熵”這個概念，解決了信息度量的問題。他指出，信息量與不確定性有關：假如我們需要搞清楚一件非常不確定的事情，或者我們一無所知的事情，就需要收集大量的信息。相反，如果我們對某件事已經有了較多的了解，那么不需要太多的信息就能把它搞清楚。從這個角度來看，信息量的度量就是不確定性的多少。
舉例說明，就拿互聯(lián)網廣告來說，在門戶網站上投放展示類的品牌廣告，點擊率是非常低的。因為對于受眾用戶，廣告投放時幾乎是隨機猜測用戶的需求，很不準確。而搜索廣告因為有用戶輸入的關鍵詞，準確率會大幅度提高，至于提高多少，取決于關鍵詞所提供的信息量。這就是搜索廣告所賺到的廣告費用要高出展示廣告兩個數(shù)量級。通過這個例子，也能說明，信息時代，誰掌握了更多的信息，誰就掌握了更多財富的可能性。
大數(shù)據(jù)與信息的關系
了解大數(shù)據(jù)的人，都可能知道，大數(shù)據(jù)有5V特點，這是IBM提出來的:Volume(大量)、Velocity(高速)、Variety(多樣)、Value(低價值密度)、Veracity(真實性)。但從信息論的角度，大數(shù)據(jù)通常是具備三個主要特征，數(shù)據(jù)量大，多樣性和完備性。
1、大數(shù)據(jù)的體量足夠大
大數(shù)據(jù)最明顯的特點就是體量大，這一點無論是內行還是外行都認可，沒什么異議。我們國家僅僅北京的國家超級大數(shù)據(jù)中心，占地面積就8萬平方米，包含9棟數(shù)據(jù)中心機房和1棟感知體驗中心。
但是，過去由于數(shù)據(jù)量不夠，即使用了數(shù)據(jù)，依然不足以消除不確定性，因此數(shù)據(jù)的作用其實有限，很多人忽視它的重要性是必然的，數(shù)據(jù)的價值也就被嚴重低估。在那種情況下，哪個領域先積攢下足夠的數(shù)據(jù)，它的研究進展就顯得快一些。語音識別領域，就是因為早期積攢了大量的音頻數(shù)據(jù)，才可以捷足先登，第一批嘗到了數(shù)據(jù)驅動方法的甜頭。
2、大數(shù)據(jù)的多維度足夠多
眾所周知，Google的人工智能已經走在了前沿，也是目前全球估值最高的公司。但是，無論是AlpahaGo、無人駕駛還是IT醫(yī)療公司Calico，都是建立在多維度的大數(shù)據(jù)基礎之上的。例如關于“食物”這個問題，Google會利用用戶輸入的信息，收集所有相關的信息。不僅涉及到食物的做法、吃法、成分、營養(yǎng)價值、價格、問題來源的地域和時間等維度。
大數(shù)據(jù)的多維度，統(tǒng)計學中稱為相關性，信息論中稱為互信息。互信息，它在信息論中，實現(xiàn)了對信息相關性的度量。比如“央行調整利率”和“股市短期波動”的互信息很大，這就證實了兩者具備強相關性。第二個視角，交叉驗證。舉例說明，夏天的時候，“空氣濕度高”和“24小時內要下雨”之間的互信息比較大。也就是說空氣濕度高，24小時下雨的可能性比較大，但并不能說空氣濕度高就一定會在24小時內下雨。還需要結合氣壓信息，云圖信息等其他緯度的信息，來交叉驗證“24小時內要下雨”這件事情，那么預測的準確性要高的多。
3、大數(shù)據(jù)的完備性
要理解它，需要介紹信息論中的一個重要概念—交叉熵。它可以反映兩個信息源之間的一致性，或者兩種概率模型之間的一致性。當兩個數(shù)據(jù)源完全一致的時候，其交叉熵為0，當它們相差很大時，它們的交叉熵也很大。因此，所有數(shù)據(jù)驅動的方法，建立模型使用的數(shù)據(jù)和使用模型的數(shù)據(jù)需要有一致性。
抽樣調查方式都是采用抽取有限的樣本進行統(tǒng)計，從而得出整體的趨勢。抽樣的核心原則是隨機性，不隨機就不能真實地反應整體的趨勢。但是要做到隨機性是很難的。例如電視收視率調查，要從不同階層隨機找被調查的人，但高學歷高收入的大忙人們普遍拒絕被調查，他們根本就不會因為幾個蠅頭小利而浪費時間，電視調查的結果就可想而知。
所以，在過去，任何使用概率統(tǒng)計模型都會有很多小概率事件是覆蓋不到的。大數(shù)據(jù)時代以前，這是數(shù)據(jù)驅動方法的死穴。
在大數(shù)據(jù)時代，在某個領域獲得數(shù)據(jù)的完備性還是有可能的，Google的機器翻譯系統(tǒng)就能很好的要利用大數(shù)據(jù)的完備性。通過數(shù)據(jù)學到了不同語言之間很長句子成分的對應，然后直接把一種語言翻譯成另一類，前提條件就是使用的數(shù)據(jù)必須是比較全面地覆蓋中文、英文，以及其他各種語言的所有句子，也就是說具備兩種語言之間翻譯的完備性。
當數(shù)據(jù)的完備性具備了以后，就相當于訓練模型的數(shù)據(jù)集合和使用這個模型的測試集合是同一個集合，或者是高度重復的。這樣的數(shù)據(jù)驅動方法才是有效的。
由此可見，大數(shù)據(jù)的科學基礎是信息論，它的本質就是利用信息消除不確定性。
——以上內容部分是源自于吳軍老師《智能時代》的讀書筆記。
評論