信息(xi)通信與智能服務商
大數(shu)據的定義
首先，我們(men)看看大數據(ju)的定義。
行業里對(dui)大數(shu)據的定(ding)義有(you)很多(duo)，有(you)廣義的定(ding)義，也有(you)狹義的定(ding)義。
廣義(yi)的(de)定(ding)義(yi)，有點哲學(xue)味道——大數據(ju)，是指物理世界(jie)到數字世界(jie)的(de)映射和(he)提(ti)煉。通過發(fa)現其(qi)中的(de)數據(ju)特征，從而做出提(ti)升效(xiao)率的(de)決策(ce)行為(wei)。
狹(xia)義的定義，是(shi)(shi)技術(shu)(shu)工程師給的——大數(shu)據，是(shi)(shi)通過獲取、存儲(chu)、分析，從大容量數(shu)據中挖掘價值的一種全新的技術(shu)(shu)架構(gou)。
相比(bi)較而言，狹義(yi)定義(yi)更好理解一(yi)些。
要做什么？——獲取數據、存儲數據、分析數據
對誰做？——大(da)容量數據
目(mu)的是什(shen)么？——挖掘價值
獲取數(shu)據(ju)、存儲數(shu)據(ju)、分(fen)析數(shu)據(ju)，這(zhe)一(yi)系列的(de)行為，都不算(suan)新奇(qi)。我們每天都在用電腦，每天都在干這(zhe)個(ge)事。
例如(ru)，每月(yue)的月(yue)初，考勤管理(li)員會獲取每個員工的考勤信息，錄入Excel表格，然后(hou)存在電腦里，統計分析有多(duo)少人遲到、缺勤，然后(hou)扣TA工資。
但(dan)是，同(tong)樣的(de)行(xing)為，放在大(da)數(shu)(shu)據(ju)(ju)身上，就行(xing)不(bu)通(tong)了。換言之，傳統個人電腦，傳統常規軟件，無力應對(dui)的(de)數(shu)(shu)據(ju)(ju)級別(bie)，才叫(jiao)“大(da)數(shu)(shu)據(ju)(ju)”。
大(da)(da)數據，到(dao)底有多大(da)(da)？
我(wo)們傳統(tong)的(de)個人電腦(nao)，處理的(de)數(shu)據(ju)，是GB/TB級(ji)別。例如(ru)，我(wo)們的(de)硬盤，現在通常是1TB/2TB/4TB的(de)容量。
TB、GB、MB、KB的關系，大家應該都很(hen)熟(shu)悉了：
1 KB = 1024 B (KB - kilobyte)
1 MB = 1024 KB (MB - megabyte)
1 GB = 1024 MB (GB - gigabyte)
1 TB = 1024 GB (TB - terabyte)
而(er)大數據是什么級(ji)別呢？PB/EB級(ji)別。
大(da)部分(fen)人都(dou)沒聽過。其實(shi)也就是繼續乘以1024：
1 PB = 1024 TB (PB - petabyte)
1 EB = 1024 PB (EB - exabyte)
只是(shi)看這(zhe)幾個字母的話，貌似不是(shi)很直觀。我來舉個例子(zi)吧。
1TB，只需要一塊硬盤可以(yi)存儲。容量(liang)大約是(shi)20萬張照片或20萬首MP3音樂，或者是(shi)20萬部(bu)電子書(shu)。
1PB，需要大約2個(ge)機(ji)柜的存(cun)儲設(she)備。容量(liang)大約是2億張照片或(huo)2億首MP3音(yin)(yin)樂。如(ru)果一個(ge)人(ren)不(bu)停地(di)聽這些音(yin)(yin)樂，可以(yi)聽1900年(nian)。。。
1EB，需要大(da)(da)約2000個機(ji)柜的存(cun)儲設備。如果并排放這些機(ji)柜，可以連綿1.2公里(li)那么長。如果擺放在機(ji)房(fang)里(li)，需要21個標準籃(lan)球場那么大(da)(da)的機(ji)房(fang)，才能放得下(xia)。
EB還(huan)不(bu)是最大的。目前(qian)全人類(lei)的數(shu)據量(liang)，是ZB級。
1 ZB = 1024 EB (ZB - zettabyte)
2011年，全球被創建和復制(zhi)的數據(ju)總量是1.8ZB。
而到2020年，全球電子設備(bei)存儲(chu)的(de)數據，將達到35ZB。如(ru)果建(jian)一個機房來(lai)存儲(chu)這(zhe)些數據，那(nei)么，這(zhe)個機房的(de)面積(ji)將比42個鳥巢體(ti)育場還(huan)大。
數(shu)據量不僅大，增(zeng)長還很快(kuai)——每年(nian)增(zeng)長50%。也就是說，每兩年(nian)就會增(zeng)長一倍。
目前的(de)大數(shu)據(ju)應(ying)用(yong)，還沒(mei)有達到ZB級(ji)，主(zhu)要集中在PB/EB級(ji)別。
數據的(de)來源
數(shu)據(ju)的(de)增(zeng)長，為什么會(hui)如此(ci)之快？
說(shuo)到這里(li)，就要(yao)回顧一下人類(lei)社會數據產生(sheng)的幾(ji)個重(zhong)要(yao)階段。
大致來說，是(shi)三個重要的階(jie)段。
第(di)一個階段，就是(shi)計(ji)算(suan)機被(bei)發(fa)明(ming)之后的(de)(de)階段。尤其是(shi)數(shu)據(ju)庫(ku)被(bei)發(fa)明(ming)之后，使(shi)得(de)數(shu)據(ju)管理的(de)(de)復(fu)雜度(du)大大降(jiang)低。各(ge)行(xing)各(ge)業開始產生(sheng)了(le)數(shu)據(ju)，從而被(bei)記錄在數(shu)據(ju)庫(ku)中(zhong)。這時的(de)(de)數(shu)據(ju)，以結構(gou)(gou)化數(shu)據(ju)為主（待會解釋什么(me)是(shi)“結構(gou)(gou)化數(shu)據(ju)”）。數(shu)據(ju)的(de)(de)產生(sheng)方式，也是(shi)被(bei)動的(de)(de)。
第(di)二個階(jie)段，是(shi)伴隨著(zhu)互聯網(wang)2.0時代(dai)出現的。互聯網(wang)2.0的最重(zhong)要標(biao)志，就是(shi)用(yong)戶原創內容。隨著(zhu)互聯網(wang)和移(yi)動通信設備的普(pu)及，人們開(kai)始使(shi)用(yong)博(bo)客、facebook、youtube這樣的社交網(wang)絡，從而主動產生了(le)大量的數(shu)據。
第三(san)個(ge)階段，是感知(zhi)式系統階段。隨著(zhu)物(wu)聯網(wang)的發展，各種各樣的感知(zhi)層(ceng)節(jie)點開始(shi)自動產生大量的數據，例如遍布世界各個(ge)角落的傳感器(qi)、攝像頭。
經(jing)過了(le)“被動(dong)-主動(dong)-自動(dong)”這三(san)個(ge)階段的(de)發(fa)展，最終導致了(le)人類數據(ju)總量(liang)的(de)極速膨脹。
大數據的4個V
行業里對大數據的特點，概括(kuo)為4個V。
前面(mian)所說的龐大數據體量，就(jiu)是Volume（海量化(hua)）。除(chu)了Volume之(zhi)外(wai)，剩下三個，分別(bie)是Variety、Velocity、Value。
我們一(yi)個一(yi)個來介紹。
Variety（多(duo)樣化）
數據的形式是(shi)多種(zhong)多樣的，包括數字（價格、交(jiao)易數據、體重、人數等）、文(wen)本(ben)（郵件、網頁等）、圖像、音頻、視頻、位置信息（經緯度、海拔等），等等，都(dou)是(shi)數據。
數據(ju)又(you)分為(wei)結構(gou)化數據(ju)和非結構(gou)化數據(ju)。
從名字可以看出，結(jie)構化數(shu)據，是指可以用預先定(ding)義的數(shu)據模型(xing)表(biao)述，或(huo)者(zhe)，可以存入關系型(xing)數(shu)據庫(ku)的數(shu)據。
大數據的價值(zhi)
剛才說(shuo)到價值(zhi)密度(du)，也就(jiu)說(shuo)到了(le)大數據(ju)的核心本(ben)質，那(nei)就(jiu)是價值(zhi)。
人類提出(chu)大數(shu)據(ju)(ju)、研(yan)究大數(shu)據(ju)(ju)的(de)(de)主要目的(de)(de)，就是為了挖掘(jue)大數(shu)據(ju)(ju)里(li)面的(de)(de)價值。
大數據，究竟有什么價值？
早在1980年(nian)，著(zhu)名未來學(xue)家阿爾(er)文·托夫勒在他的著(zhu)作《第三次(ci)浪(lang)潮(chao)(chao)》中，就(jiu)明確提出(chu)：“數(shu)據(ju)(ju)就(jiu)是財富”，并且，將大數(shu)據(ju)(ju)稱為“第三次(ci)浪(lang)潮(chao)(chao)的華彩樂章”。
第一次浪潮：農業(ye)階段(duan)，約1萬年前開始
第二(er)次(ci)浪潮：工業階段，17世(shi)紀末開始
第三次(ci)浪(lang)潮：信息(xi)化階段，20世紀50年代后期開始
進入21世紀之后(hou)，隨(sui)著前(qian)面所說的第二第三(san)階(jie)段(duan)的發(fa)展(zhan)，移動互聯網(wang)崛(jue)起，存儲(chu)能(neng)力和云計算能(neng)力飛(fei)躍，大數據開(kai)始落地(di)，也引(yin)起了越來越多(duo)的重視。
2012年的世界經(jing)濟論壇指出：“數據已(yi)經(jing)成為一(yi)種新的經(jing)濟資產類別，就像貨幣和黃金一(yi)樣”。這無疑將大數據的價(jia)值(zhi)推到(dao)了(le)前所未有的高度層(ceng)面上。
如今，大數據應用開始走進我(wo)們的生活(huo)，影響我(wo)們的衣(yi)食住行。
大數據(ju)和(he)云計算
說(shuo)到這里，我們要回答一(yi)個(ge)很多人心里都存在(zai)的疑惑——大數據(ju)和云(yun)計(ji)算之間，到底有什(shen)么關系？
可(ke)以這(zhe)么解(jie)釋：數據本身是一種資產，而云計(ji)算，則是為挖掘資產價(jia)值提供合適的(de)工具。
從技(ji)(ji)術(shu)(shu)上，大(da)數(shu)據(ju)是依賴于(yu)云計(ji)算的(de)(de)。云計(ji)算里面的(de)(de)海(hai)量數(shu)據(ju)存儲技(ji)(ji)術(shu)(shu)、海(hai)量數(shu)據(ju)管理技(ji)(ji)術(shu)(shu)、分布式計(ji)算模型等(deng)，都是大(da)數(shu)據(ju)技(ji)(ji)術(shu)(shu)的(de)(de)基礎。
云(yun)計(ji)算(suan)(suan)就(jiu)像是挖(wa)掘機(ji)，大(da)數據就(jiu)是礦山(shan)。如果沒(mei)有云(yun)計(ji)算(suan)(suan)，大(da)數據的價值就(jiu)發揮不出來。
相反的，大數據的處理需求，也(ye)刺(ci)激了云計算(suan)相關技術(shu)的發展(zhan)和落(luo)地。
也就是說，如果沒有大數據這(zhe)座礦山，云計(ji)算這(zhe)個(ge)挖掘機，很多(duo)強悍的功能都(dou)發展(zhan)不(bu)起(qi)來。
套用一句(ju)老(lao)話——云計算和大數據，兩(liang)者是相(xiang)輔相(xiang)成(cheng)的。
大數據和(he)物(wu)聯網（5G）
第二個問題，大數據和物聯網有什(shen)么(me)關系？
這個(ge)問(wen)題我覺得大家應該能夠(gou)很快想(xiang)明白，前面(mian)其實也提到(dao)了。
物(wu)(wu)聯(lian)網(wang)(wang)就是“物(wu)(wu)與物(wu)(wu)互(hu)相連接的互(hu)聯(lian)網(wang)(wang)”。物(wu)(wu)聯(lian)網(wang)(wang)的感知(zhi)層，產(chan)生(sheng)了海量的數據(ju)，將(jiang)會(hui)極(ji)大地(di)促進(jin)大數據(ju)的發(fa)展。
同樣，大(da)數(shu)據(ju)應用也發揮了物(wu)聯(lian)網(wang)(wang)的(de)價值(zhi)，反向(xiang)刺激了物(wu)聯(lian)網(wang)(wang)的(de)使用需求。越來越多的(de)企業，發覺能夠通過物(wu)聯(lian)網(wang)(wang)大(da)數(shu)據(ju)獲得價值(zhi)，就會(hui)愿意投資建(jian)設物(wu)聯(lian)網(wang)(wang)。
其實這個問題也可以進一步(bu)延伸為“大數據和5G之間的關系”。
即將到來的(de)5G，通過(guo)提升連接速率，提升了“人聯網”的(de)感(gan)知，也促進了人類主(zhu)動創(chuang)造數據。
另(ling)一(yi)方面，它更多是為“物聯網(wang)”服務的(de)(de)。包括(kuo)低延時、海量終端連接(jie)等，都是物聯網(wang)場景的(de)(de)需求。
5G刺激物(wu)聯網的(de)(de)發展(zhan)，而物(wu)聯網刺激大數據的(de)(de)發展(zhan)。所有通信基礎設施的(de)(de)強大，都是為大數據崛起鋪平道路(lu)。
