大數(shù)據(jù)管理(楊柳)

《大數(shù)據(jù)管理》既包括了大數(shù)據(jù)管理的相關技術知識，也涵蓋了大數(shù)據(jù)管理在多個行業(yè)的應用與案例分析，包括： 大數(shù)據(jù)基礎、大數(shù)據(jù)采集、大數(shù)據(jù)存儲、大數(shù)據(jù)分析、大數(shù)據(jù)融合、大數(shù)據(jù)隱私、大數(shù)據(jù)可視化、大數(shù)據(jù)前沿、醫(yī)療大數(shù)據(jù)、教育大數(shù)據(jù)、金融大數(shù)據(jù)、交通大數(shù)據(jù)。通過本書，讀者能夠全方位地認識和掌握大數(shù)據(jù)管理的相關知識，深入了解大數(shù)據(jù)的應用價值。
本書可作為高等學校大數(shù)據(jù)管理與應用、信息管理與信息系統(tǒng)等管理類、信息類以及智能建造、智能制造、智慧交通等新工科專業(yè)的本科生、研究生教材，還可作為大數(shù)據(jù)相關企業(yè)的管理者與實踐者的培訓用書和參考讀物。

何慶，貴州大學，教授，主要研究領域與方向大數(shù)據(jù)技術應用、機器學習、自然語言處理。貴州省大數(shù)據(jù)專家?guī)鞂＜?，中國中文信息學會理事，中國民族醫(yī)藥學會信息與大數(shù)據(jù)分會理事

大數(shù)據(jù)時代已經(jīng)來臨，它為我們帶來了前所未有的機遇和挑戰(zhàn)。在這個數(shù)字化、互聯(lián)網(wǎng)化的世界中，數(shù)據(jù)不僅是生產(chǎn)力的源泉，更是洞察、決策和創(chuàng)新的關鍵。大數(shù)據(jù)是指數(shù)據(jù)的規(guī)模龐大，而且數(shù)據(jù)內(nèi)容多樣、處理速度快和利用價值高。數(shù)據(jù)的來源很多，包括社交媒體、傳感器、移動設備和互聯(lián)網(wǎng)等，如何有效地捕捉、傳輸、存儲、處理和分析這些數(shù)據(jù)，已經(jīng)成為各行各業(yè)迫切需要解決的問題。
本書的目標是為讀者提供關于大數(shù)據(jù)的全方位介紹，將引導讀者深入了解大數(shù)據(jù)的核心概念，包括： 分布式存儲和計算、數(shù)據(jù)采集和處理、數(shù)據(jù)可視化和數(shù)據(jù)分析、數(shù)據(jù)隱私安全等多個方面的內(nèi)容；還將對大數(shù)據(jù)在醫(yī)療、教育、金融和交通四個領域的應用案例進行深入分析。大數(shù)據(jù)是一個不斷演進的領域，希望本書能夠激發(fā)讀者對大數(shù)據(jù)相關領域的興趣，深入研究，并在實際工作中應用這些知識，為未來的數(shù)據(jù)驅動世界做出貢獻。
本書共分為12章。第1章介紹了大數(shù)據(jù)的基礎概念和意義；第2章介紹了大數(shù)據(jù)采集流程和技術；第3章介紹了大數(shù)據(jù)存儲技術與應用；第4章介紹了大數(shù)據(jù)分析的核心算法；第5章介紹了大數(shù)據(jù)融合的概念及融合技術；第6章介紹了大數(shù)據(jù)隱私的基礎概念和保護技術；第7章介紹了大數(shù)據(jù)可視化的理論、流程和框架；第8章介紹了大數(shù)據(jù)前沿關鍵技術。第9章至第12章分別從醫(yī)療、教育、金融、交通領域介紹了相關概念、應用現(xiàn)狀以及發(fā)展趨勢。
本書具有如下鮮明特色。
（1） 本書全面地介紹了大數(shù)據(jù)管理中涉及的概念和技術。書中詳細闡述大數(shù)據(jù)管理相關知識和技術方面的定義、特征和范圍，讓讀者能清楚地理解大數(shù)據(jù)管理的本質。同時，本書深入淺出地介紹了大數(shù)據(jù)管理的各種技術，包括大數(shù)據(jù)采集、大數(shù)據(jù)存儲、大數(shù)據(jù)分析、大數(shù)據(jù)融合、大數(shù)據(jù)隱私、大數(shù)據(jù)可視化等方面的概念、內(nèi)容及趨勢。通過本書的閱讀，讀者將深入了解大數(shù)據(jù)管理相關的基本概念和技術，學習各種工具和技術在大數(shù)據(jù)管理中的使用。
（2） 本書不僅關注技術層面，還從實踐的角度介紹了大數(shù)據(jù)管理的實踐。書中通過大量的案例，生動地展示了大數(shù)據(jù)管理在醫(yī)療、教育、金融、交通四個領域的應用實例，使得讀者可以更好地理解大數(shù)據(jù)管理的實用價值。通過本書的閱讀，讀者將學習到大數(shù)據(jù)管理相關技術的實踐，了解并學習如何將這些實踐應用于實際場景中。
（3） 本書還注重培養(yǎng)讀者的探索思維和創(chuàng)新能力。書中通過思考題，引導讀者深入探索大數(shù)據(jù)管理相關知識的本質和應用價值，鼓勵讀者發(fā)揮自己的創(chuàng)造力和想象力，探索新的大數(shù)據(jù)管理技術和應用，為未來在大數(shù)據(jù)領域進一步學習奠定堅實的基礎。
本書的編寫得到了國家自然科學基金“面向偵查文書的證據(jù)鏈構建關鍵技術研究(編號：62166006) ”，國家自然科學基金“空間公平性視角下貴州貧困山區(qū)鄉(xiāng)村聚落空間重構研究——以滇黔桂石漠化區(qū)為例(編號： 41861038) ” 的資助。本書由貴州大學公共管理學院、貴州大學大數(shù)據(jù)與信息工程學院、貴州省大數(shù)據(jù)產(chǎn)業(yè)發(fā)展應用研究院的4 名教師協(xié)同編寫完成，是貴州大學物聯(lián)網(wǎng)工程專業(yè)省級一流本科專業(yè)建設成果教材。何慶博士負責本書的整體設計、指導編寫、統(tǒng)稿、校對，以及第1章的撰寫等工作；楊柳博士負責第2章，第5章，第7章的第1、2節(jié)，第8章的第5、6節(jié)及第12章的編寫；杜逆索博士編寫第3章、第4章、第6章和第8章的第1、2、4節(jié)；張欣博士負責第7章的第3、4、5節(jié)，第8章的第3節(jié)，第9章、第10章和第11章的編寫。在撰寫本書的過程中，貴州省大數(shù)據(jù)產(chǎn)業(yè)發(fā)展應用研究院龍劍老師與貴州大學大數(shù)據(jù)與信息工程學院的袁暢、汪鈺姬、李言博、范夢云、代文卓、鄭萌、陸順意等碩士生做了大量輔助性工作，在此一并表示衷心感謝。
由于編者的水平有限，加之時間倉促，書中難免存在不足之處，敬請讀者批評指正，提出寶貴建議。

編者
2024年4月

第1章　緒論001 
1.1　大數(shù)據(jù)的基本概念001
1.2　數(shù)據(jù)生命周期002
1.3　大數(shù)據(jù)的意義003
1.4　大數(shù)據(jù)的相關技術及作用003
1.5　大數(shù)據(jù)的應用領域004
1.6　大數(shù)據(jù)面臨的挑戰(zhàn)006
本章小結006
習題006
參考文獻007

第2章　大數(shù)據(jù)采集008 
【本章導讀】008
【學習目標】008
2.1　大數(shù)據(jù)采集概述008
2.1.1　基本概念008
2.1.2　數(shù)據(jù)采集與大數(shù)據(jù)采集009
2.2　數(shù)據(jù)質量和數(shù)據(jù)預處理009
2.2.1　數(shù)據(jù)預處理010
2.2.2　數(shù)據(jù)清洗010
2.2.3　數(shù)據(jù)轉換011
2.2.4　數(shù)據(jù)消減012
2.3　互聯(lián)網(wǎng)采集013
2.3.1　互聯(lián)網(wǎng)數(shù)據(jù)特點013
2.3.2　互聯(lián)網(wǎng)采集技術014
2.3.3　互聯(lián)網(wǎng)采集策略015
2.3.4　互聯(lián)網(wǎng)采集現(xiàn)狀016
2.4　物聯(lián)網(wǎng)采集017
2.4.1　物聯(lián)網(wǎng)體系結構018
2.4.2　物聯(lián)網(wǎng)協(xié)議018
2.4.3　物聯(lián)網(wǎng)數(shù)據(jù)采集技術020
本章小結021
習題022
參考文獻022

第3章　大數(shù)據(jù)存儲023 
【本章導讀】023
【學習目標】023
3.1　數(shù)據(jù)庫管理技術023
3.1.1　關系數(shù)據(jù)庫與非關系數(shù)據(jù)庫023
3.1.2　SQL 數(shù)據(jù)庫025
3.1.3　NoSQL 數(shù)據(jù)庫025
3.1.4　NewSQL 數(shù)據(jù)庫027
3.2　分布式文件系統(tǒng)027
3.2.1　計算機集群的結構027
3.2.2　分布式文件系統(tǒng)的結構028
3.2.3　分布式文件系統(tǒng)的設計需求029
3.2.4　分布式文件系統(tǒng)的存儲原理029
3.3　大數(shù)據(jù)存儲管理032
3.3.1　大數(shù)據(jù)存儲管理概念032
3.3.2　大數(shù)據(jù)存儲數(shù)據(jù)容災技術033
3.3.3　大數(shù)據(jù)存儲數(shù)據(jù)冗余去除技術034
3.3.4　大數(shù)據(jù)存儲糾刪碼技術與優(yōu)化035
本章小結040
習題040
參考文獻040

第4章　大數(shù)據(jù)分析042 
【本章導讀】042
【學習目標】042
4.1　機器學習042
4.1.1　基礎概念042
4.1.2　監(jiān)督算法043
4.1.3　無監(jiān)督算法048
4.1.4　集成學習050
4.2　深度學習——神經(jīng)網(wǎng)絡054
4.2.1　基本概念054
4.2.2　前饋神經(jīng)網(wǎng)絡054
4.2.3　卷積神經(jīng)網(wǎng)絡055
4.2.4　循環(huán)神經(jīng)網(wǎng)絡060
4.3　模型評估063
本章小結064
習題065
參考文獻065

第5章　大數(shù)據(jù)融合067 
【本章導讀】067
【學習目標】067
5.1　多源數(shù)據(jù)067
5.1.1　數(shù)據(jù)孤島067
5.1.2　多來源與多模態(tài)068
5.1.3　數(shù)據(jù)溯源069
5.2　數(shù)據(jù)集成069
5.2.1　聯(lián)邦數(shù)據(jù)庫與數(shù)據(jù)聯(lián)邦070
5.2.2　中間件071
5.2.3　數(shù)據(jù)倉庫072
5.2.4　數(shù)據(jù)湖072
5.3　數(shù)據(jù)融合技術073
5.3.1　數(shù)據(jù)融合073
5.3.2　知識融合076
本章小結078
習題079
參考文獻079

第6章　大數(shù)據(jù)隱私080 
【本章導讀】080
【學習目標】080
6.1　基本概念080
6.1.1　隱私080
6.1.2　大數(shù)據(jù)隱私的挑戰(zhàn)081
6.2　大數(shù)據(jù)安全技術082
6.2.1　訪問控制082
6.2.2　同態(tài)加密084
6.2.3　可信執(zhí)行環(huán)境086
6.2.4　密文搜索088
6.3　大數(shù)據(jù)隱私保護技術089
6.3.1　數(shù)據(jù)脫敏089
6.3.2　信息混淆090
6.3.3　差分隱私091
6.3.4　多媒體數(shù)據(jù)隱私保護092
6.4　聯(lián)邦學習093
6.4.1　聯(lián)邦學習架構093
6.4.2　聯(lián)邦學習分類095
6.4.3　聯(lián)邦學習開源平臺096
本章小結099
習題099
參考文獻099

第7章　大數(shù)據(jù)可視化101 
【本章導讀】101
【學習目標】101
7.1　大數(shù)據(jù)可視化的概念和發(fā)展歷程101
7.1.1　大數(shù)據(jù)可視化的基本概念101
7.1.2　大數(shù)據(jù)可視化的發(fā)展歷程102
7.1.3　大數(shù)據(jù)可視化的基本特征103
7.1.4　大數(shù)據(jù)可視化的類型104
7.2　大數(shù)據(jù)可視化基礎106
7.2.1　設計步驟106
7.2.2　視覺編碼106
7.2.3　大數(shù)據(jù)可視化設計原則107
7.2.4　統(tǒng)計圖表可視化108
7.2.5　大數(shù)據(jù)可視化工具111
7.3　大數(shù)據(jù)可視化分析的方法112
7.3.1　網(wǎng)絡數(shù)據(jù)可視化技術112
7.3.2　時間數(shù)據(jù)可視化技術113
7.3.3　多維數(shù)據(jù)可視化技術114
7.3.4　文本可視化技術115
7.3.5　交互可視化技術115
本章小結116
習題116
參考文獻116

第8章　大數(shù)據(jù)前沿118 
【本章導讀】118
【學習目標】118
8.1　關鍵技術118
8.1.1　虛擬現(xiàn)實118
8.1.2　增強現(xiàn)實120
8.1.3　混合現(xiàn)實120
8.1.4　人工智能121
8.1.5　云計算122
8.1.6　區(qū)塊鏈123
8.2　Web 3.0 124
8.2.1　發(fā)展過程125
8.2.2　發(fā)展趨勢127
8.3　工業(yè)4.0 128
8.3.1　發(fā)展歷程129
8.3.2　發(fā)展趨勢130
8.4　智慧城市131
8.4.1　發(fā)展過程131
8.4.2　發(fā)展趨勢132
本章小結133
習題134
參考文獻134

第9章　醫(yī)療大數(shù)據(jù)135 
【本章導讀】135
【學習目標】135
9.1　問題與挑戰(zhàn)135
9.2　基本概念與發(fā)展歷程136
9.2.1　基本概念136
9.2.2　發(fā)展歷程137
9.3　具體案例分析137
9.3.1　電子健康檔案137
9.3.2　智慧居家護理及遠程醫(yī)療142
9.4　未來趨勢147
本章小結148
習題148
參考文獻148

第10章　教育大數(shù)據(jù)150 
【本章導讀】150
【學習目標】150
10.1　問題與挑戰(zhàn)150
10.2　基本概念與發(fā)展歷程151
10.2.1　基本概念151
10.2.2　發(fā)展歷程151
10.3　具體案例分析153
10.3.1　智能技術助力語言學習153
10.3.2　智慧教育的實踐探索154
10.3.3　智能技術助力學校數(shù)字轉型155
10.3.4　課程信號大數(shù)據(jù)教育應用155
10.3.5　學位羅盤大數(shù)據(jù)教育應用158
10.4　未來趨勢159
本章小結160
習題161
參考文獻161

第11章　金融大數(shù)據(jù)162 
【本章導讀】162
【學習目標】162
11.1　機遇與挑戰(zhàn)163
11.1.1　金融業(yè)發(fā)展面臨的機遇163
11.1.2　金融業(yè)發(fā)展面臨的挑戰(zhàn)164
11.2　基本概念與發(fā)展歷程164
11.2.1　基本概念164
11.2.2　發(fā)展歷程167
11.3　具體案例分析169
11.3.1　精準營銷169
11.3.2　風險控制172
11.4　未來趨勢175
本章小結176
習題176
參考文獻176

第12章　交通大數(shù)據(jù)178 
【本章導讀】178
【學習目標】179
12.1　問題與挑戰(zhàn)179
12.2　基本概念與發(fā)展歷程180
12.2.1　基本概念180
12.2.2　發(fā)展歷程182
12.2.3　交通大數(shù)據(jù)分類182
12.3　具體案例分析185
12.3.1　路面異常“智能巡邏” 185
12.3.2　“公交優(yōu)先”特色的上海智慧交通云服務188
12.3.3　貴州交廣“互聯(lián)網(wǎng)+ 智慧交通云平臺” 191
12.4　未來趨勢192
本章小結194
習題194
參考文獻195