目錄
【導讀】 創造「偶然的幸運」(serendipity),正是巨量資料技術不斷前進的動力(台灣野村總研諮詢顧問股份有限公司副總經理 陳志仁)
【推薦序】 當商業智慧隱藏在雲深不知處(國立交通大學經營管理研究所教授 楊千) Big Data, Big Intelligence:從資料、資訊到情報(和沛科技股份有限公司總經理 翟本喬) 當巨量資料與社會脈絡交集(英國開放知識基金會地區大使 徐子涵 Schee) Data、Data、Data:我們活在廣袤的資料流中(資深部落客 鄭緯筌Vista) 老大哥在看著你:Big Data□ Big Brother□(英商巴克萊銀行台北分行董事總經理 劉奕成)
前言
★第一章 什麼是巨量資料 資料洪流(The Data deluge) 巨量資料的3V特性 廣義的巨量資料 為什麼到現在巨量資料才受到眾人的矚目?(1)巨量資料的民主化 為什麼到現在巨量資料才受到眾人的矚目?(2)硬體性價比的提升與軟體技術的進化 為什麼到現在巨量資料才受到眾人的矚目?(3)雲端的普及 從「分析過去」到「預測未來」 商業智慧與巨量資料的交會 從點(交易資料)到線(互動資料)的分析 巨量資料分析的起源 本章重點整理
★第二章 支撐巨量資料的技術 人才短缺 什麼是Hadoop 與日俱增的套件 眾多套件版本並存的原因 NoSQL資料庫 創投也對Hadoop、NoSQL開發企業投以熱切的目光 巨量資料時代的資料處理基礎 備受矚目的分析資料庫 串流資料(即時資料)處理 自行開發串流資料處理技術的網路公司 機器學習、統計分析等 自然語言處理、其它 本章重點整理
★第三章 以巨量資料為核心競爭力的企業 歐美企業篇 快速成長之網路公司的巨量資料運用技巧 eBay:每天產生50 TB的資料 (1)遠超乎想像的巨量資料產生速度 (2)eBay的資料分析基礎 Zynga:披著遊戲開發商外皮的資料分析公司 (1)社群遊戲經濟的重要指標 (2)提升病毒係數的機制 (3)遊戲其實是資料驅動營運 (4)三次點擊原則 Centrica:藉由引進智慧電表分析能源消耗模式 (1)英國電費、瓦斯費收費的實際狀況 (2)引進智慧電表後的影響 卡特琳娜行銷集團:以「收銀台優待券」設計顧客的消費行為 (1)儲存了超過一億人份的消費紀錄 (2)預測顧客的消費行為,帶動門市買氣 本章重點整理
★第四章 以巨量資料為核心競爭力的企業 日本企業篇 日本國內也開始運用巨量資料 小松(KOMATSU):日本運用巨量資料的先驅 瑞可利(Recruit):徹底運用Hadoop資料分析,成功改造企業文化 (1)幾乎全公司上下都用Hadoop (2)支撐瑞可利巨量資料分析的Hadoop基礎 (3)成功的祕訣在於組織體制 (4)對於瑞可利而言,Hadoop的「真正價值」究竟是什麼? GREE:資料驅動型營運方式是快速成長的原動力 (1)與其相信一人的判斷,不如相信數千萬人的資料 (2)資料驅動型營運方式的根基來自對於日誌資料的執著 (3)具備多種技能的專業人士齊聚一堂 (4)將溝通不良減至最少的團隊體制 日本麥當勞:在現實世界實現一對一行銷 (One-To-One Marketing) (1)劃時代優待券背後的周全準備 (2)把焦點集中在做為集點卡的行動電話與智慧型手機 本章重點整理
★第五章 巨量資料的運用模式★ 巨量資料的運用案例 (1)精準推薦商品或服務 (2)行為定位廣告 (3)運用地點資訊的行銷 (4)糾出盜刷 (5)顧客流失分析 (6)預測設備故障 (7)驗出異常 (8)改善服務 (9)預測路況 (10)預測電力需求 (11)預測感冒流行 (12)預測股市行情 (13)油資成本的最佳化 巨量資料的運用模式分類 (1)個別優化×批次處理型 (2)個別優化×即時資訊型 (3)全體優化×批次處理型 (4)全體優化×即時資訊型 巨量資料的運用深度 (1)掌握過去與現狀 (2)發現行為模式 (3)預測 (4)優化 【專欄】動態定價 巨量資料運用的真正價值 本章重點整理
★第六章 巨量資料時代的隱私權問題★ 隱私權與創新的兩難 美國國會也表示關注 製作網路個資檔案的是與非 請勿追蹤(Do Not Track) 消費者隱私權保護法案 採用選擇性參與方式的歐盟 資料保護綱領也進行修正 (1)引進「抹掉過去」的權利 (2)使用者尚未明確表示同意前,不得使用其個人資料 (3)制定資料可攜(Data Portability)的權利 (4)擴大說明責任 日本的法令架構是《個人資訊保護法》加上分別針對各領域訂定的指導原則 部分指導原則在提供資訊予第三人上採用選擇性參與方式 日本政府的評估狀況 以「資訊大航海計畫」為契機開始評估的經濟產業省 由生活紀錄的角度進行議論的總務省 線索就在與使用者的「對話」 實體世界裡的行為追蹤 本章重點整理
★第七章 開放資料時代的到來與資料市場的興盛★ 「活用外部公開資料」的選項 風起雲湧的連結開放資料(LOD,Link Open Data)運動 影響擴及開放式政府 如雨後春筍般不斷出現的新創企業 透過比賽促進資料運用 落後一步的日本 日本國內因三一一大地震而略有進展的開放資料使用 資料市場的興盛 (1)Factual (2)Windows Azure Marketplace (3)Infochimps (4)Public Data Sets on AWS 商業模式各有不同 熱絡的資料市場存在著不容忽視的課題 本章重點整理
★第八章 面對巨量資料時代該有的準備★ 巨量資料時代的企業IT策略 開始邁向資料分享的日本企業 (1)LAWSON×Yahoo ( 2)KDDI×樂天 (3)COOKPAD×ID’s 擁有原創資料的好處 供應商的新商機在提供「資料整合服務」 誰能成為資料整合公司 美國的支付服務業者明顯朝「資料整合公司」發展 (1)VISA (2)PayPal (3)美國運通 讓原創資料搖身一變成為「貴重資料」的絕妙資料組合 全世界對資料科學家的需求愈來愈高 資料科學家需具備的技能 資料科學家需具備的資質 (1)溝通能力 (2)創業家精神 (3)好奇心 相關人才嚴重不足 相關研究所開始設立 鉅額資金流向巨量資料分析企業 日本也開始對資料科學家展開搶人大戰 最後的一道關卡--組織體制與企業文化 朝向資料驅動型企業邁進 本章重點整理
謝詞 參考文獻 圖表索引
|