初學者如何學習大數(shù)據(jù)分析?
初學者如何學習大數(shù)據(jù)分析?
初學者如何學習大數(shù)據(jù)分析?該如何培養(yǎng)數(shù)據(jù)分析思維呢?小編整理了相關資料以供大家參考,希望能夠幫助到大家。
第一周:培養(yǎng)數(shù)據(jù)分析思維
如果我們在分析一個問題前,思維缺失就像下面圖中所表達的一樣,往往不知道問題從哪里下手,即使拿到數(shù)據(jù)也是一臉懵逼。所以我們要通過訓練數(shù)據(jù)分析思維,幫助在遇到問題時,大家腦中能快速梳理出分析的切入點以及思路,這一點很重要。
常用的一些思維方式:
1、金字塔/結構化思維
把待分析問題按不同方向去分類,然后不斷拆分細化,能全方位的思考問題,一般是先把所有能想到的一些論點先寫出來,然后在進行整理歸納成金字塔模型。主要通過思維導圖來寫我們的分析思維。
2、公式化思維
在結構化的基礎上,這些論點往往會存在一些數(shù)量關系,使其能進行+、-、×、÷的計算,將這些論點進行量化分析,從而驗證論點。
所謂指標體系,就是這么梳理得來的。
3、業(yè)務化思維
業(yè)務化即是深入了解業(yè)務情況,結合該項目的具體業(yè)務進行分析,并且能讓分析結果進行落地執(zhí)行。用結構化思考+公式化拆解得出的最終分析論點再很多時候表示的是一種現(xiàn)象,不能體現(xiàn)產(chǎn)生結果的原因。所以需要繼續(xù)去用業(yè)務思維去思考,站在業(yè)務人員或分析對象的角度思考問題,深究出現(xiàn)這種現(xiàn)象的原因或者通過數(shù)據(jù)推動業(yè)務。
增加業(yè)務思維方法:貼近業(yè)務,換位思考,積累經(jīng)驗。
同時,這樣的思維模式在一些特定業(yè)務場景下,還衍生出一些基礎的分析方法,比如象限法、多維法、假設法、指數(shù)法、二八法、對比法、漏斗法,這個對未來構建分析模型都有幫助。
思維模型的好處是他能提供一種視角或思維框架,從而幫助你建立起觀察事物和分析問題的視角。通過對思維模型的學習和訓練,能提高你成功的可能性。
第二周:Excel技能進階
基礎的:簡單的表格數(shù)據(jù)處理、篩選、排序
函數(shù)和公式:常用函數(shù)、高級數(shù)據(jù)計算、數(shù)組公式、多維引用、function
可視化圖表:圖形圖示展示、高級圖表、圖表插件
數(shù)據(jù)透視表、VBA程序開發(fā)……
第三周:學習數(shù)據(jù)庫原理和SQL
做數(shù)據(jù)分析,數(shù)據(jù)從哪里來?數(shù)據(jù)庫!
怎么取數(shù)據(jù)?寫SQL!
做數(shù)據(jù)分析,取數(shù)、清洗數(shù)據(jù),基本都要依賴SQL。
初入門階段,對于數(shù)據(jù)庫不必精通,只需了解常用的數(shù)據(jù)庫類型,能夠在現(xiàn)有的表格里面查詢出數(shù)據(jù),能夠更新數(shù)據(jù)對數(shù)據(jù)進行重編碼,知道怎么增加添加數(shù)據(jù),把數(shù)據(jù)變得規(guī)整就行。
理解主鍵,索引等含義和用處;導入導出數(shù)據(jù)可以使用工具,分析數(shù)據(jù)可以使用ODBC或者其他的接口對數(shù)據(jù)庫進行連接。
取數(shù)的排序,做數(shù)據(jù)的交集并集,數(shù)據(jù)轉(zhuǎn)換,數(shù)據(jù)表合并等這些,*好也能掌握。
SQL的學習,看這個就夠了:SQL教程_w3cschool
這里總結了幾個核心技能:
引自:數(shù)據(jù)分析人員如何快速入門SQL-SQL學習感悟(一) - Ash_Zhang的技術小屋
技能一:學會用select語句添加字段和找出需要的數(shù)據(jù)
直接給一個隨時可以套用的萬金油模板吧:
select cola,colb,colc into newtable from oldtable wherecola=x and colb is not null;
基本上,學會這個就可以完全的查出大部分的數(shù)據(jù)了。
select后面是一個個的字段,要哪個選哪個。有into意味著放到一張新表里面,沒有就是查詢出來。where之后的就是我們的條件,等于某個值,或者是不是空值,是*常用的幾種查詢方式吧。
還有一種select也用的非常多:select cola from oldtable group by cola;
這個語句是看看cola有多少種值的可能性。
select進階學習,可能要講講join,union,以及多個查詢組合成的嵌套查詢,或者是子查詢的模式,以及模糊查詢。這個后面我會再花篇幅寫出來給大家參考。
技能二:學會alter學會增加,減少字段
alter可以做的事情很多,增加字段,減少字段,增加主鍵減少主鍵等等,非常常用。
1. 增加字段:alter table tablename add colname varchar;
這樣就可以增加一個空字段,varchar是一種數(shù)據(jù)類型。
2. 減少字段:alter table tablename drop column colname;
這樣就去掉了一個原有的字段。
技能三:學會update學會更新數(shù)據(jù)更新數(shù)據(jù)
大概常用的有兩種,一種是更新成一個固定值:
update table set col=1;
另一種是從另一張表里面更新,這種方法,在處理一些小型數(shù)據(jù)的時候經(jīng)常會導出,然后導入到數(shù)據(jù)庫,就可以用:
update table set col=tableb.col from tableb where table.id=tableb.id;
里面table和tableb是兩張表,然后通過兩張表的id關聯(lián)起來,學會這個書寫結構就行。
第四周:數(shù)理統(tǒng)計學
統(tǒng)計學是數(shù)據(jù)分析師必備的基礎知識之一,是一組用于匯總數(shù)據(jù)和量化給定觀測樣本域?qū)傩缘墓ぞ摺?/p>
單獨的原始觀察數(shù)據(jù)只是數(shù)據(jù),還不能變?yōu)槲覀兿胍男畔⒒蛑R。有了原始數(shù)據(jù),那么接下來的問題是:
什么是最常見或可預期的觀測?
觀測的限制條件是什么?
數(shù)據(jù)是什么樣子的?
回答這些問題,我們需要借助一些統(tǒng)計工具來得出一些結論。借助統(tǒng)計學,你的分析深度、專業(yè)度和科學性都會有很大提升。
所以這一周,我們需要掌握統(tǒng)計學的以下幾大概念:
1.集中趨勢(中數(shù)、眾數(shù)、平均數(shù))
2.變異(四分位數(shù)、四分位距、異常值、方差)
3.歸一化(標準分數(shù))
4.正態(tài)分布
5.抽樣分布(中心極限、抽樣分布)
6.估計(置性度、置信區(qū)間)
7.假設檢驗
8.T檢驗
推薦書籍:吳喜之-《統(tǒng)計學·從數(shù)據(jù)到結論》
第五周:數(shù)據(jù)分析軟件應用
有了數(shù)據(jù)分析思維基礎,懂一些統(tǒng)計學知識之后,我們就可以著手開始相對專業(yè)的分析,用可視化的方法探索數(shù)據(jù)的規(guī)律。
這一周,除了Excel,你需要掌握一個傍身的數(shù)據(jù)分析工具。
考慮到快速入門,這里暫時放一放SPSS、R、Python一類工具,先掌握BI工具的運用,幫助快速熟悉起數(shù)據(jù)分析的流程。知名的BI產(chǎn)品有Tableau,Power BI,還有國內(nèi)的FineBI,網(wǎng)上都有體驗版和免費版下載。處理好的數(shù)據(jù)拿來放BI分析,分分鐘就能出很漂亮的可視化,比Excel的圖表高級多了,而且絕大多數(shù)人都能輕松上手。
BI需要掌握數(shù)據(jù)的連接,連不上數(shù)據(jù)怎么分析。還有儀表盤Dashboard的概念,知道絕大多數(shù)圖表適用的場景和怎么繪制,維度和指標的區(qū)分。
至于一些數(shù)據(jù)的清洗,如果BI掌握得透徹也可以放BI處理,但不熟悉還是用SQL處理吧。
第六周:數(shù)據(jù)可視化
可視化看似是簡單的步驟,但也是有造詣的。可視化說白了是一種表達,數(shù)據(jù)分析結果表達的是否到位,領導是否認同,工資漲不漲,全靠這一紙dashboard(當然還有你“講故事”的功力)。
如何選擇*佳的圖表類型?趨勢性、相關性、分布性、周期性、布性……
顏色和字體等細節(jié)樣式方面,如何進行更加美觀的調(diào)配?
布局設計原則,故事性布置可視化儀表板,報告的標題和結論注釋,以及整體展現(xiàn)的邏輯性。
還有很多可視化的陷阱,都是值得花一周探究的。
第七周:常見的業(yè)務分析模型
基于一些數(shù)據(jù)分析方法,如象限法、多維法、假設法、指數(shù)法、二八法、對比法、漏斗法,在特定業(yè)務場景下,還衍生了通用的業(yè)務分析模型,常用的有購物籃分析模型,RFM模型,漏斗分析模型,客戶生命周期,以及預測、聚類分析等挖掘模型。
這一周我們要掌握常用的分析模型,*好能有深刻的認識,直接套用到實際的業(yè)務場景中,活學活用。
第八周:Python/R語言掌握
到這一周,數(shù)據(jù)分析的入門之路基本上完成一大半。
本著提升自己,以及加大自己求職和面試的籌碼,掌握Python或R是加分項。
有關數(shù)據(jù)分析的編程語言有Python和R語言。R語言傾向于統(tǒng)計分析、繪圖等。統(tǒng)計學家或者學統(tǒng)計學的喜歡用R語言,而我更青睞學習Python,因為Python是面向未來的語言,無論從流行度、可用性還是學習難度來講,Python都是*好的入門語言。
當然,如果可以的話,再掌握一下R語言是*好不過的,技多不壓身嘛。
Python有很多分支,但我們學習的主題是數(shù)據(jù)分析,入門推薦《深入淺出Python編程》
從code academy開始學起,完成上面的所有練習。Code academy涵蓋了Python基本概念。當完成了code academy練習之后,看看這個Ipython notebook:
其次,掌握三個庫Numpy、Pandas、Matplotlib
Numpy是利用Python科學計算的基礎包,對Numpy好的掌握將會幫助你有效地使用其他工具例如Pandas。包括N維數(shù)組,索引,數(shù)組切片,整數(shù)索引,數(shù)組轉(zhuǎn)換,通用函數(shù),使用數(shù)組處理數(shù)據(jù),常用的統(tǒng)計方法等等。
Numpy Basics Tutorial,Index Numpy 遇到Numpy陌生函數(shù),查詢用法,推薦!
Pandas包含了高級的數(shù)據(jù)結構和操作工具,能使得Python數(shù)據(jù)分析更加快速和容易。包含series, data frams,從一個axis刪除數(shù)據(jù),缺失數(shù)據(jù)處理等等。
Pandas Basics Tutorial,Index Pandas 遇到陌生函數(shù),查詢用法,推薦!
Matplotlib是一個強大的Python可視化庫。幾行代碼就能繪制出散點圖、折線圖、直方圖、柱狀圖、箱線圖等。
第九周:業(yè)務理解和指標設計
到了第九周,大家可以發(fā)現(xiàn),這個學習計劃更多是偏業(yè)務的數(shù)據(jù)分析,可見業(yè)務理解的重要性。但業(yè)務理解需要多年的積累,沒有掌握的捷徑。剛入門也不會拷問太多業(yè)務上的問題,更多時候是考驗你邏輯思維能力和數(shù)據(jù)分析的方法。所以簡單花一周時間了解各行業(yè)的業(yè)態(tài)和各業(yè)務的通用指標。
其次,指標體系。幾乎一個數(shù)據(jù)崗的崗位要求都會涉及這樣一句話:“負責建立和優(yōu)化部門的數(shù)據(jù)指標體系”。事實上目前大多的數(shù)據(jù)崗主要工作都是不斷完善與優(yōu)化數(shù)據(jù)指標體系,而對層面的工作是比較少的,即使崗位叫做數(shù)據(jù)分析師 。一個優(yōu)秀的數(shù)據(jù)指標體系,不僅能讓你快速解決數(shù)據(jù)需求,洞察出可能會被忽略的價值數(shù)據(jù),還能反映出你目前*需解決的業(yè)務問題。所以,這一周還要掌握梳理業(yè)務指標的思路。
*文章內(nèi)容和圖片均來源于網(wǎng)絡,如有侵權,請聯(lián)系刪除。
評論 丨 共0個