進(jìn)入大數(shù)據(jù)的真實(shí)世界
林海老師(1天)
課程背景
時(shí)移而勢(shì)變,互聯(lián)網(wǎng)帶來了“大數(shù)據(jù)(BigData)”的爆發(fā),企業(yè)和個(gè)人被卷入了新的數(shù)字化洪流。你的客戶、你的員工已經(jīng)被悄無聲息的改變,工業(yè)時(shí)代的致勝秘籍和戰(zhàn)略空間已經(jīng)不再繼續(xù)有效,大數(shù)據(jù)給我們帶來了新的價(jià)值創(chuàng)造方式。
目前,市面上流行的大數(shù)據(jù)培訓(xùn)一部分側(cè)重于實(shí)現(xiàn)算法和公式推導(dǎo),適合編程人士學(xué)習(xí),但過于晦澀,需要較高的學(xué)歷基礎(chǔ),另外一部分側(cè)重于創(chuàng)新理念和案例介紹,適合普及概念,但缺乏實(shí)戰(zhàn)性,不利于深度的理解和把握,無法為我所用。
為了彌補(bǔ)這些不足,融業(yè)務(wù)和技術(shù)創(chuàng)新于一體,林海老師根據(jù)長(zhǎng)時(shí)間的理論和實(shí)踐經(jīng)驗(yàn),開發(fā)了本門課程,將會(huì)帶給學(xué)員全新的知識(shí)體驗(yàn),啟發(fā)自己的大數(shù)據(jù)思維,獲得大數(shù)據(jù)算法的框架和使用指引,可以在工作中靈活運(yùn)用,幫助企業(yè)洞察問題、發(fā)現(xiàn)規(guī)律和改進(jìn)方向,并能夠運(yùn)用所學(xué)知識(shí),結(jié)合公司實(shí)際情況,再造自己的數(shù)字化業(yè)務(wù)。
主要話題
數(shù)據(jù)分析思維的“破”與“立”
世界認(rèn)知的重構(gòu):數(shù)據(jù)分析的模型和算法
數(shù)據(jù)分析實(shí)戰(zhàn):從代碼中觀測(cè)世界的變化
創(chuàng)新:“始”于問題,庖丁解牛、“終”于解決
課程大綱
第一單元 思維轉(zhuǎn)變:從報(bào)表統(tǒng)計(jì)思維進(jìn)入數(shù)據(jù)分析思維
一、 入門:數(shù)據(jù)是對(duì)“事實(shí)”的觀測(cè)
二、 轉(zhuǎn)變:數(shù)據(jù)思維意味著什么
1、主動(dòng)找數(shù)據(jù)變?yōu)楸粍?dòng)推薦
2、抽樣數(shù)據(jù)變?yōu)槿瘮?shù)據(jù)
3、要求精確變?yōu)闅g迎復(fù)雜
4、事后分析變?yōu)閷?shí)時(shí)監(jiān)控
5、專家分析變?yōu)闄C(jī)器學(xué)習(xí)
6、由流程為核心變?yōu)橐詳?shù)據(jù)為核心
7、由客戶分類變?yōu)閭€(gè)性化服務(wù)
8、由人與人連接變?yōu)槿伺c機(jī)器連接
第二單元 認(rèn)知重構(gòu):進(jìn)入模型和算法統(tǒng)治的世界
一、數(shù)據(jù)分析三大核心模型
1、分類:真與假;好與壞;高、中、低。不會(huì)分類,就不會(huì)思考
2、預(yù)測(cè):輸入變量,求得結(jié)果。代表了掌握規(guī)律的能力,生活是可預(yù)知的
3、相關(guān)性:模糊、近似、有關(guān),是一種簡(jiǎn)便的、粗略的全盤操控能力
二、五大初級(jí)算法
1、相關(guān)性分析:最入門、最常用、最剛需的分析方法
2、散點(diǎn)圖分析:最被忽略的探索性分析方法
3、概覽性分析:教科書上都不重視的全局總覽的分析方法
4、回歸分析:最容易理解的由x推導(dǎo)出y的方程式分析法
5、聚類分析:最粗暴的物以類聚人以群分的分析方法
三、六大中級(jí)算法
1、降維分析:數(shù)據(jù)太多,抓住主要數(shù)據(jù)的方法
2、決策樹分析:最容易理解的決策分析
3、關(guān)聯(lián)規(guī)則分析:貌似沒有規(guī)模,卻可以尋找一個(gè)規(guī)律
4、相似性分析:當(dāng)前最熱門的分析方法,如:人臉識(shí)別、指紋識(shí)別
5、可視化分析:河流圖、風(fēng)向圖、熱力圖等各種別具一格的數(shù)據(jù)呈現(xiàn)方式
6、文本分析:從大量的文字中快速提取關(guān)鍵信息
四、兩大大數(shù)據(jù)高級(jí)算法
1、神經(jīng)網(wǎng)絡(luò)算法:最牛逼的模擬大腦的算法,如埃爾法狗圍棋
2、支持向量機(jī)算法:實(shí)用性和準(zhǔn)確性較強(qiáng)的一個(gè)機(jī)器學(xué)習(xí)算法
第三單元 操作實(shí)戰(zhàn):從代碼中觀測(cè)到的“真實(shí)”世界
一、學(xué)會(huì)用數(shù)據(jù)分析創(chuàng)新性的解決問題
1、What:?jiǎn)栴}是什么
2、Judgement:能用數(shù)據(jù)分析解決嗎
3、Prerequisite:具備數(shù)據(jù)基礎(chǔ)嗎
4、ModelSelect:選擇哪個(gè)模型
5、Visualization:怎么呈現(xiàn)結(jié)果
6、Design:設(shè)計(jì)流程,形成文檔
二、學(xué)會(huì)用代碼去測(cè)試和逼近真相
1、數(shù)據(jù)獲取(導(dǎo)入數(shù)據(jù)、爬取數(shù)據(jù))
2、數(shù)據(jù)探索分析、概覽分析
3、明確分析目的
4、選擇x和y
5、對(duì)格式進(jìn)行轉(zhuǎn)換
6、選擇模型(模型選擇準(zhǔn)則)
7、使用交叉驗(yàn)證規(guī)則,切分?jǐn)?shù)據(jù)
8、用模型進(jìn)行訓(xùn)練
9、分析模型預(yù)測(cè)結(jié)果
10、確定最優(yōu)模型
11、使用和預(yù)測(cè)
12、報(bào)告和呈現(xiàn)