1.1 大數(shù)據(jù)時(shí)代

1.1.1第三次信息化浪潮

2010年前后，以云計(jì)算、大數(shù)據(jù)、物聯(lián)網(wǎng)的首發(fā)為標(biāo)志迎來(lái)第三次信息化浪潮。

IT發(fā)展史歷經(jīng)的信息化浪潮如下：

1.1.2 大數(shù)據(jù)時(shí)代的到來(lái)需要技術(shù)支撐

主要表現(xiàn)為：

1. 存儲(chǔ)設(shè)備容量不斷增加
2. CPU處理能力大幅提升
3. 網(wǎng)絡(luò)帶寬不斷增加

1.1.3 數(shù)據(jù)產(chǎn)生方式的變革促進(jìn)大數(shù)據(jù)時(shí)代到來(lái)

第一階段：運(yùn)營(yíng)式系統(tǒng)階段。實(shí)例：購(gòu)物記錄。數(shù)據(jù)僅由運(yùn)營(yíng)系統(tǒng)生成。
第二階段：用戶原創(chuàng)內(nèi)容階段。實(shí)例：微信。每個(gè)網(wǎng)民都成為自媒體，可以向網(wǎng)絡(luò)發(fā)送信息。但到此為止還不足以促進(jìn)大數(shù)據(jù)時(shí)代到來(lái)。
第三階段：感知式系統(tǒng)階段。物聯(lián)網(wǎng)(IoT)的大規(guī)模普及，實(shí)現(xiàn)了萬(wàn)物互聯(lián)。物聯(lián)網(wǎng)底層是感知層，比如攝像頭、傳感器，這些設(shè)備時(shí)刻生成大量數(shù)據(jù)，物聯(lián)網(wǎng)的興起促使了大數(shù)據(jù)時(shí)代到來(lái)。

1.1.4 大數(shù)據(jù)的發(fā)展歷程

1.2 大數(shù)據(jù)的概念和影響

1.2.1大數(shù)據(jù)的4V特性

4V特性指velocity、variety、value、volume。

(1)數(shù)據(jù)量大：
大數(shù)據(jù)摩爾定律（根據(jù)IDC作出的估測(cè)，數(shù)據(jù)一直都在以每年50%的速度增長(zhǎng)，也就是說每?jī)赡昃驮鲩L(zhǎng)一倍）。
人類在最近兩年產(chǎn)生的數(shù)據(jù)量相當(dāng)于之前產(chǎn)生的全部數(shù)據(jù)量。

(2)數(shù)據(jù)類型繁多：
大數(shù)據(jù)是由結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)組成：

• 結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)在關(guān)系型數(shù)據(jù)庫(kù)中，只占10%。
  
• 大部分都是非結(jié)構(gòu)化數(shù)據(jù)，類型非常多。
  

(3)處理速度快：
目前很多企業(yè)都需要秒級(jí)決策。從數(shù)據(jù)的生成到消耗，時(shí)間窗口非常小，可用于生成決策的時(shí)間非常少。
1秒定律：這一點(diǎn)和傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)有著本質(zhì)的不同。

(4)價(jià)值密度低，商業(yè)價(jià)值高：
如此大量的數(shù)據(jù)，很多可能都是沒有價(jià)值的數(shù)據(jù)。比如監(jiān)控?cái)z像頭時(shí)刻生成大量數(shù)據(jù)需要進(jìn)行存儲(chǔ)，一旦發(fā)生案件時(shí)，攝像頭存儲(chǔ)的視頻才有用，但發(fā)生案件的幾率很小，因此價(jià)值密度低很低。

1.2.2大數(shù)據(jù)的影響

圖靈獎(jiǎng)獲得者Jim Gray博士總結(jié)人類在科學(xué)研究上，先后經(jīng)歷了實(shí)驗(yàn)、理論、計(jì)算和數(shù)據(jù)四種范式。

在思維方式方面，大數(shù)據(jù)完全顛覆了傳統(tǒng)的思維方式：

1. 全樣而非抽樣
   大數(shù)據(jù)時(shí)代之前，我們無(wú)法保存和分析所有數(shù)據(jù)，只能統(tǒng)計(jì)學(xué)采用抽樣進(jìn)行分析，舍棄了很多數(shù)據(jù)，只抽取一部分?jǐn)?shù)據(jù)進(jìn)行存儲(chǔ)、計(jì)算、分析。
   而現(xiàn)在我們有足夠的空間、可以構(gòu)建服務(wù)器集群進(jìn)行龐大數(shù)據(jù)處理，就可以做全樣的數(shù)據(jù)分析。
2. 效率而非精確
   之前在做抽樣統(tǒng)計(jì)時(shí)，需要不斷提高算法精度，因?yàn)槌闃佑?jì)算的結(jié)果誤差放到全樣上會(huì)被放大，容易超出許可范圍。
   而全樣分析不存在誤差放大的問題，不追求精確度，而追求時(shí)效性、追求效率。
3. 相關(guān)而非因果
   更多的追求事物的相關(guān)性，而不關(guān)注因果關(guān)系。不問為什么，只關(guān)注關(guān)聯(lián)性。

1.3 大數(shù)據(jù)的應(yīng)用

1.3.1大數(shù)據(jù)的應(yīng)用領(lǐng)域

1.3.2舉例：流感預(yù)測(cè)

谷歌使用大數(shù)據(jù)預(yù)測(cè)流感趨勢(shì)，利用搜索引擎實(shí)時(shí)收集用戶搜索的信息。
通常遇到疾病時(shí)，會(huì)首先使用搜索引擎搜索，然后再去醫(yī)院，這些搜索關(guān)鍵詞構(gòu)成了龐大的數(shù)據(jù)庫(kù)。

1.4 大數(shù)據(jù)的關(guān)鍵技術(shù)

1.4.1大數(shù)據(jù)技術(shù)的層次

下圖為大數(shù)據(jù)技術(shù)的層次，最核心的大數(shù)據(jù)技術(shù)在數(shù)據(jù)存儲(chǔ)與管理、數(shù)據(jù)處理與分析這兩個(gè)層面。

1.4.2兩大核心技術(shù)

兩大核心技術(shù)指的是分布式存儲(chǔ)、分布式處理。

分布式存儲(chǔ)：解決海量數(shù)據(jù)的存儲(chǔ)問題。單機(jī)無(wú)法存儲(chǔ)海量數(shù)據(jù)時(shí)，就借助集群進(jìn)行分布式存儲(chǔ)。

分布式處理：解決海量數(shù)據(jù)的處理問題。單機(jī)無(wú)法高效完成海量數(shù)據(jù)處理時(shí)，就使用集群進(jìn)行分布式處理。

1.4.3大數(shù)據(jù)技術(shù)以谷歌公司技術(shù)為代表

1.4.4大數(shù)據(jù)計(jì)算模式

目前有許多大數(shù)據(jù)相關(guān)產(chǎn)品存在，這些產(chǎn)品可能用于批處理、實(shí)時(shí)計(jì)算、交互式計(jì)算，但是沒有任何一款產(chǎn)品可以滿足所有需求。因此不同計(jì)算模式需要使用不同的產(chǎn)品。
典型的計(jì)算模式可以分為四種：

1. 批處理計(jì)算：典型代表為MapReduce、Spark。
   用于解決大規(guī)模數(shù)據(jù)的批量處理。
   不適合做實(shí)時(shí)交互式計(jì)算，做不到秒級(jí)響應(yīng)。
   其中Spark實(shí)時(shí)性比MapReduce更好，并且可以進(jìn)行迭代計(jì)算，比如數(shù)據(jù)挖掘需要迭代計(jì)算時(shí)就需要使用Spark。
   

2. 流計(jì)算：典型代表為Storm、S4、Flume、Streams、Puma、DStream、SuperMario、銀河流數(shù)據(jù)處理平臺(tái)等。
   需要進(jìn)行實(shí)時(shí)處理，給出實(shí)時(shí)響應(yīng)，否則分析結(jié)果就會(huì)失去商業(yè)價(jià)值。
   
   流計(jì)算框架如下：
   

3. 圖計(jì)算：典型代表為Pregel、GraphX、Giraph、PowerGraph、Hama、GoldenOrb等。
   處理大規(guī)模圖結(jié)構(gòu)數(shù)據(jù)。
   現(xiàn)實(shí)生活中比如社交網(wǎng)絡(luò)、交通網(wǎng)絡(luò)都可以轉(zhuǎn)成圖結(jié)構(gòu)進(jìn)行處理。
   

4. 查詢分析計(jì)算：典型代表為Hive、Dremel、Cassandra、Impala等。
   用于大規(guī)模數(shù)據(jù)的存儲(chǔ)管理和查詢分析。

計(jì)算模式總結(jié)表如下：

1.5 大數(shù)據(jù)與云計(jì)算、物聯(lián)網(wǎng)的關(guān)系

1.5.1云計(jì)算

云計(jì)算要解決兩大核心問題：即海量數(shù)據(jù)存儲(chǔ)和處理問題。

云計(jì)算典型特征：虛擬化、多租戶。

云計(jì)算的概念：通過網(wǎng)絡(luò)以服務(wù)的方式為用戶提供非常廉價(jià)的IT資源。

云計(jì)算的優(yōu)勢(shì)：企業(yè)不需要自建IT基礎(chǔ)設(shè)施，可以租用云端資源。

云計(jì)算的三種模式：公有云、混合云、私有云。
公有云舉例：百度云，面向所有用戶。
私有云舉例：電信、移動(dòng)，面向企業(yè)內(nèi)部。
混合云：部分給自己，部分給公眾。

三種云服務(wù)：IaaS、PaaS、SaaS

1. IaaS：基礎(chǔ)設(shè)置即服務(wù)
   將基礎(chǔ)設(shè)施（計(jì)算資源和存儲(chǔ)）作為服務(wù)出租。
   比如亞馬遜提供了EC2，可以直接購(gòu)買并在環(huán)境上安裝系統(tǒng)和業(yè)務(wù)等，平臺(tái)已經(jīng)提供CPU等資源。
2. PaaS：平臺(tái)即服務(wù)
   個(gè)體沒有能力獨(dú)立開發(fā)云計(jì)算產(chǎn)品，不具備環(huán)境。
   比如新浪搭建了云計(jì)算分布式開發(fā)平臺(tái)Sina App Engine，可以購(gòu)買后在新浪上開發(fā)、部署云服務(wù)。
3. SaaS：軟件即服務(wù)
   將軟件作為服務(wù)出售。
   典型案例：云財(cái)務(wù)軟件。
   從一個(gè)集中的系統(tǒng)部署軟件，使之在一臺(tái)本地計(jì)算機(jī)上（或從云中遠(yuǎn)程地）運(yùn)行的一個(gè)模型。由于是計(jì)量服務(wù)，SaaS允許出租應(yīng)用程序，并計(jì)時(shí)收費(fèi)。
   

云計(jì)算關(guān)鍵技術(shù)：

• 多租戶：同時(shí)為多個(gè)用戶服務(wù)。
• 虛擬化：上機(jī)操作均基于Linux環(huán)境，可以利用虛擬化技術(shù)，再虛擬機(jī)上裝Linux系統(tǒng)。比如虛擬專用網(wǎng)VPN。

云計(jì)算數(shù)據(jù)中心：數(shù)據(jù)中心是云計(jì)算的溫床。各種數(shù)據(jù)和應(yīng)用都位于數(shù)據(jù)中心。

全球各地大量建設(shè)數(shù)據(jù)中心：

數(shù)據(jù)中心投資非常高昂、耗能非常大，因此必需建設(shè)在地址結(jié)構(gòu)穩(wěn)定、氣候涼爽的地方。

政務(wù)云、教育云、中小企業(yè)云、醫(yī)療云都是云計(jì)算的應(yīng)用。

1.5.2物聯(lián)網(wǎng)

物聯(lián)網(wǎng)：IoT(The Internet of Things)

物聯(lián)網(wǎng)概念：物物相連的互聯(lián)網(wǎng)，是互聯(lián)網(wǎng)的延伸。

物聯(lián)網(wǎng)層次架構(gòu)：

典型物聯(lián)網(wǎng)應(yīng)用：智能公交。在公交車上的JPS定位相當(dāng)于感知層，通過沿途基站傳輸信息，用戶通過因特網(wǎng)訪問。

物聯(lián)網(wǎng)的關(guān)鍵技術(shù)：

1. 識(shí)別與感知技術(shù)（二維碼、RFID、傳感器等）
2. 網(wǎng)絡(luò)與通信技術(shù)
3. 數(shù)據(jù)挖掘與融合技術(shù)等。

物聯(lián)網(wǎng)應(yīng)用：

1.5.3大數(shù)據(jù)、云計(jì)算、物聯(lián)網(wǎng)的關(guān)系

三者相輔相成，既有聯(lián)系又有區(qū)別。