走進大數(shù)據(jù)：組織如何推進大數(shù)據(jù)戰(zhàn)略

1．　IT趨勢與數(shù)字商務(wù)
1．1　開啟大數(shù)據(jù)時代的IT趨勢變化與未來核心技術(shù)的出現(xiàn)…2
1．1．1　始于IBM大型計算機的中央集中式商務(wù)處理方式…3
1．1．2　在“減員增效”浪潮中成為業(yè)界翹楚的甲骨文、思科和惠普…3
1．1．3　微軟開啟個人PC時代…4
1．1．4　大數(shù)據(jù)技術(shù)的起點：Hadoop的誕生…5
1．1．5　量產(chǎn)大數(shù)據(jù)的智能手機觸發(fā)移動時代…5
1．1．6　將企業(yè)IT資源最大化的云計算熱潮…6
1．1．7　產(chǎn)生更多大數(shù)據(jù)的傳感器時代即將到來…7
1．1．8　未來核心技術(shù)：社交網(wǎng)絡(luò)、移動技術(shù)、大數(shù)據(jù)、云計算、物聯(lián)網(wǎng)…7
1．2　始于大數(shù)據(jù)技術(shù)的創(chuàng)新——數(shù)字商務(wù)…9
1．2．1　同時提供優(yōu)質(zhì)產(chǎn)品體驗與最低價格才能引發(fā)購買行為…11
1．2．2　Beacon：融合物聯(lián)網(wǎng)、大數(shù)據(jù)分析、移動通信等技術(shù)…12
1．3　陷入危機還是成功創(chuàng)新：跨國IT企業(yè)與IT趨勢…15
1．3．1　云計算領(lǐng)域…15
1．3．2　移動領(lǐng)域…16
1．3．3　大數(shù)據(jù)領(lǐng)域…17
1．3．4　物聯(lián)網(wǎng)領(lǐng)域…17
1．3．5　ERP及內(nèi)存數(shù)據(jù)庫領(lǐng)域…18
1．3．6　IT領(lǐng)域的新霸主：谷歌、亞馬遜、賽富時…19
1．3．7　跨國IT企業(yè)因何變?nèi)酢?0
大數(shù)據(jù)小問答…24
2．從實例分析入手的有趣的大數(shù)據(jù)分析
2．1　大數(shù)據(jù)…28
2．1．1　大數(shù)據(jù)的定義：4V…28
2．1．2　大數(shù)據(jù)之“大”…29
2．1．3　大數(shù)據(jù)技術(shù)與新商業(yè)模式的出現(xiàn)…30
2．1．4　小數(shù)據(jù)、暗數(shù)據(jù)、快數(shù)據(jù)、智能數(shù)據(jù)…32
2．2　創(chuàng)新源自大數(shù)據(jù)分析…34
2．3　大數(shù)據(jù)預(yù)測未來：從免費分析工具開始…38
2．3．1　大數(shù)據(jù)的滯后性：準(zhǔn)確分析得出結(jié)論…38
2．3．2　關(guān)鍵詞的超前性：完善預(yù)測模型以提高準(zhǔn)確度…39
2．3．3　門戶網(wǎng)站搜索頻率分析工具：Naver Trend與谷歌趨勢…41
2．3．4　免費社交媒體分析工具：Social Metrics…44
2．4　正式開始分析大數(shù)據(jù)前：基于場景的關(guān)鍵詞分析練習(xí)…46
2．4．1　智能手機競爭分析…47
2．4．2　戶外運動：高爾夫、登山與露營的比較…57
2．4．3　Naver Trend與Social Metrics的應(yīng)用 …59
大數(shù)據(jù)小問答…62
3．　分析廣泛應(yīng)用的社交媒體
3．1　靈活運用強大的社交媒體…66
3．1．1　社交媒體分析定義…67
3．1．2　社交媒體分析是大數(shù)據(jù)分析嗎？…67
3．1．3　以人們熟知的關(guān)鍵詞為中心進行分析…68
3．1．4　進行自然語言處理時要注意同音近義詞…70
3．1．5　選擇人們平時關(guān)注的領(lǐng)域…70
3．1．6　選舉中體現(xiàn)的社交媒體的力量…74
3．1．7　社交媒體在政府決策過程中大有用武之地…75
3．1．8　區(qū)分社交媒體中的謠言與真相…78
3．2　社交媒體分析的3個步驟…81
3．2．1　用戶需求…81
3．2．2　步驟1：Web信息采集…83
3．2．3　步驟2-1：自然語言處理服務(wù)…84
3．2．4　步驟2-2：文本分析…85
3．2．5　步驟2-3：可視化…85
3．2．6　步驟3：最終用戶…87
3．3　社交媒體分析的應(yīng)用領(lǐng)域…87
3．3．1　新品研發(fā)及上市效果分析…87
3．3．2　廣告效果分析…88
3．3．3　企業(yè)信譽風(fēng)險/危機管理…88
3．3．4　顧客的VOC…89
3．3．5　社會研究…89
3．3．6　數(shù)據(jù)新聞…90
大數(shù)據(jù)小問答…92
4．　引入大數(shù)據(jù)項目時的常見問題
4．1　對大數(shù)據(jù)概念的理解不夠…96
4．2　與準(zhǔn)備引入大數(shù)據(jù)項目的企業(yè)分享我的個人經(jīng)驗…96
4．3　大數(shù)據(jù)項目中企業(yè)管理層存在的問題…98
4．3．1　引入大數(shù)據(jù)項目時企業(yè)管理層會忽視自身影響力…98
4．3．2　企業(yè)管理層將大數(shù)據(jù)項目想得過于簡單…99
4．3．3　企業(yè)管理者依靠“直覺”經(jīng)營的同時決定引入大數(shù)據(jù)戰(zhàn)略…100
4．3．4　不能由IT部門領(lǐng)導(dǎo)大數(shù)據(jù)TF…101
4．3．5　引入大數(shù)據(jù)項目需要巨額投資嗎？…103
4．4　大數(shù)據(jù)項目中業(yè)務(wù)負(fù)責(zé)人存在的問題…104
4．4．1　業(yè)務(wù)負(fù)責(zé)人必須培養(yǎng)自身數(shù)據(jù)分析能力…104
4．4．2　業(yè)務(wù)負(fù)責(zé)人將數(shù)據(jù)分析工作外包而只接收分析結(jié)果…104
4．4．3　業(yè)務(wù)負(fù)責(zé)人認(rèn)為大數(shù)據(jù)分析與傳統(tǒng)數(shù)據(jù)分析差別很大…105
4．5　大數(shù)據(jù)項目中IT負(fù)責(zé)人存在的問題…106
4．5．1　IT負(fù)責(zé)人不愿意學(xué)習(xí)Hadoop…106
4．5．2　IT負(fù)責(zé)人認(rèn)為構(gòu)建大數(shù)據(jù)系統(tǒng)后只需維護…107
4．6　準(zhǔn)確理解大數(shù)據(jù)項目…108
4．6．1　大數(shù)據(jù)項目取決于參與專家的水平…108
4．6．2　大數(shù)據(jù)專家涉及多個領(lǐng)域…109
4．6．3　大數(shù)據(jù)項目旨在基于數(shù)據(jù)進行決策…110
4．6．4　是否引入大數(shù)據(jù)系統(tǒng)要由實際業(yè)務(wù)負(fù)責(zé)人判斷…111
大數(shù)據(jù)小問答…114
5．　大數(shù)據(jù)方案選擇方法
5．1　以何種主題實現(xiàn)大數(shù)據(jù)項目：制定大數(shù)據(jù)項目主題…118
5．1．1　確定大數(shù)據(jù)項目主題時要靈活運用大數(shù)據(jù)咨詢公司…119
5．1．2　大數(shù)據(jù)項目主題確定方法與流程…120
5．2　步驟1：各行業(yè)大數(shù)據(jù)系統(tǒng)應(yīng)用案例分析…123
5．3　步驟2：基本業(yè)務(wù)分析…128
5．4　步驟3：訪談…131
5．4．1　步驟3-1：管理層訪談…131
5．4．2　步驟3-2：業(yè)務(wù)訪談…132
5．4．3　步驟3-3：IT團隊訪談…134
5．5　步驟4：內(nèi)部/外部數(shù)據(jù)采集與數(shù)據(jù)挖掘…135
5．5．1　步驟4-1：內(nèi)部/外部數(shù)據(jù)采集…135
5．5．2　步驟4-2：初期數(shù)據(jù)挖掘…136
5．6　步驟5：培訓(xùn)與研討…137
5．6．1　步驟5-1：管理者、業(yè)務(wù)團隊、IT團隊的培訓(xùn)…137
5．6．2　步驟5-2：業(yè)務(wù)研討會…140
5．7　步驟6：大數(shù)據(jù)項目備選主題的選擇及評估…143
5．7．1　步驟6-1：選擇大數(shù)據(jù)項目備選主題…143
5．7．2　步驟6-2：評估…145
5．8　步驟7：Quick Win課題及主題選擇、總體規(guī)劃…148
5．8．1　步驟7-1：Quick Win課題及主題選擇…148
5．8．2　步驟7-2：大數(shù)據(jù)項目總體規(guī)劃…149
大數(shù)據(jù)小問答…154
6．　具有競爭力的大數(shù)據(jù)分析
6．1　保持企業(yè)競爭力的大數(shù)據(jù)分析案例…158
6．1．1　大數(shù)據(jù)分析與統(tǒng)計分析的區(qū)別…158
6．1．2　Netflix的Cinematch system與深度學(xué)習(xí)…159
6．1．3　亞馬遜的推薦系統(tǒng)…162
6．2　實現(xiàn)大數(shù)據(jù)項目時可以靈活應(yīng)用的分析服務(wù)…165
6．2．1　沃爾弗拉姆·阿爾法計算知識引擎…165
6．2．2　ID INCU的移動研究…168
6．3　實現(xiàn)大數(shù)據(jù)項目時可供參考的數(shù)據(jù)…171
6．3．1　韓國健康保險審查評價院用于研究的申請數(shù)據(jù)…171
6．3．2　基于SKT地理信息系統(tǒng)的空間大數(shù)據(jù)服務(wù)…175
6．4　實現(xiàn)大數(shù)據(jù)項目時可以靈活使用的分析系統(tǒng)…177
大數(shù)據(jù)小問答…180
7．　大數(shù)據(jù)技術(shù)與IT技術(shù)
7．1　大數(shù)據(jù)系統(tǒng)與傳統(tǒng)DW/BI系統(tǒng)的異同…184
7．1．1　大數(shù)據(jù)技術(shù)與傳統(tǒng)DW/BI技術(shù)的區(qū)別…184
7．1．2　大數(shù)據(jù)技術(shù)與傳統(tǒng)DW/BI技術(shù)的共同點…189
7．2　向傳統(tǒng)DW/BI系統(tǒng)引入大數(shù)據(jù)技術(shù)時的一些建議…189
7．2．1　傳統(tǒng)DW/BI系統(tǒng)的需求…189
7．2．2　DW/BI第一階段擴展方案…190
7．2．3　DW/BI第二階段擴展方案…193
7．2．4　DW/BI第三階段擴展方案…195
7．2．5　引入大數(shù)據(jù)系統(tǒng)引起的IT組織變化…197
7．3　大數(shù)據(jù)解決方案…198
7．3．1　大數(shù)據(jù)架構(gòu)…198
7．3．2　數(shù)據(jù)處理、查詢領(lǐng)域的軟件優(yōu)缺點分析…201
7．3．3　大數(shù)據(jù)基礎(chǔ)設(shè)施與服務(wù)：國外解決方案…202
7．3．4　大數(shù)據(jù)基礎(chǔ)設(shè)施與服務(wù)：韓國解決方案…204
7．4　幾款值得推薦的韓國產(chǎn)品…206
7．4．1　Flamingo…206
7．4．2　Apache Tajo…210
大數(shù)據(jù)小問答…212
8．　大數(shù)據(jù)項目構(gòu)建方法
8．1　大數(shù)據(jù)項目構(gòu)建方法的重要性…216
8．1．1　利用大數(shù)據(jù)需要大數(shù)據(jù)項目構(gòu)建方法…216
8．1．2　大數(shù)據(jù)項目需要良好的溝通…217
8．1．3　必須將階段性執(zhí)行程序融入大數(shù)據(jù)項目構(gòu)建方法…217
8．1．4　大數(shù)據(jù)項目構(gòu)建方法必須與大數(shù)據(jù)方案選擇方法
相對應(yīng)…218
8．2　大數(shù)據(jù)項目構(gòu)建方法定義…219
8．3　大數(shù)據(jù)項目推進總體規(guī)劃（模塊1）…221
8．4　商業(yè)應(yīng)用及變化管理的實現(xiàn)（模塊2）…223
8．4．1　充分理解商業(yè)主題（模塊2-1）…224
8．4．2　與分析結(jié)果相關(guān)的商業(yè)行動計劃（模塊2-2）…225
8．4．3　企業(yè)應(yīng)用監(jiān)控與激活方案（模塊2-3）…225
8．4．4　大數(shù)據(jù)系統(tǒng)應(yīng)用評估（模塊2-4）…226
8．4．5　大數(shù)據(jù)系統(tǒng)應(yīng)用組織設(shè)計（模塊2-5）…231
8．4．6　所需人力與技能組合的定義（模塊2-6）…237
8．4．7　所需人力的調(diào)配方法（模塊2-7）…238
8．4．8　內(nèi)部人才培養(yǎng)計劃（模塊2-8）…239
8．5　各主題分析模型的設(shè)計及與分析（模塊3）…239
8．5．1　大數(shù)據(jù)挖掘方法比較…239
8．5．2　大數(shù)據(jù)間接分析法…241
8．5．3　大數(shù)據(jù)直接分析法…243
8．5．4　大數(shù)據(jù)分析工具培訓(xùn)（模塊3-0）…243
8．5．5　充分理解商業(yè)主題（模塊3-1）…244
8．5．6　定義所需數(shù)據(jù)（模塊3-2）…245
8．5．7　數(shù)據(jù)探索（模塊3-3）…245
8．5．8　派生數(shù)據(jù)設(shè)計及數(shù)據(jù)處理需求傳達(dá)（模塊3-4）…246
8．5．9　分析模型設(shè)計與測試（模塊3-5）…247
8．5．10　數(shù)據(jù)可視化（模塊3-6）…247
8．5．11　評估分析結(jié)果（模塊3-7）…248
8．5．12　分析模型維護與升級方案（模塊3-8）…250
8．6　大數(shù)據(jù)系統(tǒng)設(shè)計與構(gòu)建（模塊4）…251
8．6．1　充分理解大數(shù)據(jù)項目主題（模塊4-1）…251
8．6．2　數(shù)據(jù)建模（模塊4-2）…251
8．6．3　內(nèi)部/外部數(shù)據(jù)ETL設(shè)計（模塊4-3）…252
8．6．4　內(nèi)部/外部數(shù)據(jù)提煉操作設(shè)計（模塊4-4）…253
8．6．5　內(nèi)部/外部數(shù)據(jù)ETL及提煉操作執(zhí)行（模塊4-5）…254
8．6．6　執(zhí)行數(shù)據(jù)處理（模塊4-6）…254
8．6．7　用戶/訪問/安全管理執(zhí)行（模塊4-7）…255
8．7　大數(shù)據(jù)系統(tǒng)設(shè)計/構(gòu)建（模塊5）…255
8．7．1　SW架構(gòu)設(shè)計（模塊5-1）…255
8．7．2　HW/Cloud架構(gòu)設(shè)計（模塊5-2）…257
8．7．3　安裝SW/HW/Cloud（模塊5-3）…258
8．8　大數(shù)據(jù)治理設(shè)計與構(gòu)建（模塊6）…259
8．8．1　數(shù)據(jù)治理設(shè)計與構(gòu)建（模塊6-1）…259
8．8．2　外部數(shù)據(jù)管理（模塊6-2）…260
8．8．3　用戶/訪問/安全管理設(shè)計（模塊6-3）…260
大數(shù)據(jù)小問答…262
附錄　通過行業(yè)大會了解大數(shù)據(jù)技術(shù)發(fā)展趨勢
Strata　Hadoop World 2014…266
美國已經(jīng)從“為什么是大數(shù)據(jù)”（Why　Big data）階段進入“如何做大數(shù)據(jù)”（How to do Big data）階段…267
目前形勢下，Hadoop是“明顯的勝者”（Clear　winner）…267
商業(yè)Hadoop比Apache　Hadoop更常用…268
Spark的極高關(guān)注度…268
傳統(tǒng)RDB中的信息業(yè)務(wù)正在遷移到Hadoop…269
數(shù)據(jù)科學(xué)的關(guān)注度越來越高，但仍需努力縮短它與Hadoop陣營的距離…269
“大數(shù)據(jù)+物聯(lián)網(wǎng)”的結(jié)合是理所當(dāng)然的，并將持續(xù)探索最優(yōu)架構(gòu)…270
Mike　Olson眼中Hadoop的未來…271
針對商業(yè)用戶提供良好的用戶體驗…272
與宣傳本公司服務(wù)相比，我們更需要多分享個人見解…273
應(yīng)用大數(shù)據(jù)技術(shù)時引發(fā)的個人信息安全問題…274
大數(shù)據(jù)也有可能得到錯誤的收集與分析…274
借助大數(shù)據(jù)分析人類情感…275
大數(shù)據(jù)行業(yè)現(xiàn)狀…276
通過Strata　Hadoop World 2014預(yù)測大數(shù)據(jù)市場…277
Teradata　PARTNERS Conference 2014（Teradata 合作伙伴會議2014）…279
eBay：分析、運營海量數(shù)據(jù)…281
數(shù)據(jù)倉庫與Hadoop之間的關(guān)系…282
通用汽車公司的全新EDW架構(gòu)…284
沃爾沃大數(shù)據(jù)系統(tǒng)應(yīng)用案例…287
Teradata的統(tǒng)一數(shù)據(jù)架構(gòu)…291
對大數(shù)據(jù)排序以幫助決策…294
SQL　On Hadoop領(lǐng)域中值得關(guān)注的產(chǎn)品…294
個人隱私保護問題…296
后記…298