大數(shù)據(jù)是企業(yè)技術(shù)、運營中的一部分，如何存儲、管理數(shù)據(jù)和分析數(shù)據(jù)需要專業(yè)知識?，F(xiàn)在大數(shù)據(jù)技能可以直接購買、租用或教授，但個人在尋找專業(yè)知識之前，就需要清楚地了解自身適合的大數(shù)據(jù)技能，以及已經(jīng)具備的大數(shù)據(jù)技能都有什么。

市場專家預(yù)測大數(shù)據(jù)行業(yè)人才短缺已經(jīng)有存在很長時間。麥肯錫曾預(yù)測，到2020年，大數(shù)據(jù)將成為推動生產(chǎn)總值(GDP)增長的五大"游戲規(guī)則改變者之一。因為缺乏人才，擁有大數(shù)據(jù)技能的人才顯得更加緊缺。

在這個數(shù)字化時代我們所需要關(guān)注的大數(shù)據(jù)技能都有哪些呢？

大數(shù)據(jù)是一個團隊努力的結(jié)果，所以大數(shù)據(jù)專家（大數(shù)據(jù)從業(yè)者、數(shù)據(jù)科學(xué)家、數(shù)據(jù)分析師等等大數(shù)據(jù)崗位）將來自公司的所有部分。一個跨各個領(lǐng)域的團隊將代表所有受益或受大數(shù)據(jù)影響的人，確定大數(shù)據(jù)項目的范圍，審查數(shù)據(jù)源和潛在結(jié)果。然而，還需要由IT技術(shù)人員決定，將實踐專業(yè)知識應(yīng)用于數(shù)據(jù)技能將分為三個基本領(lǐng)域：基礎(chǔ)架構(gòu)，編程和分析。

為了支持分析，需要開發(fā)一個能夠存儲大量數(shù)據(jù)(不僅是tb，可能是pb)的企業(yè)基礎(chǔ)設(shè)施。高速大數(shù)據(jù)處理所需的存儲通常不是網(wǎng)絡(luò)附加存儲(NAS)或存儲區(qū)域網(wǎng)絡(luò)(san)，而是分散在集群計算節(jié)點中的直接附加存儲(DAS)。大數(shù)據(jù)系統(tǒng)必須是可伸縮的系統(tǒng)，并且能夠隨時添加存儲，無論是在企業(yè)內(nèi)部還是在云中。它還必須設(shè)計用于高速I/O處理、并行處理、虛擬化和高吞吐量等。

IT技術(shù)人員幫助管理存儲的數(shù)據(jù)流。盡管大數(shù)據(jù)的數(shù)據(jù)量很大無法通過DBMS、RDBMS和ORDBMS等標準數(shù)據(jù)庫管理系統(tǒng)，但這些數(shù)據(jù)庫編程技能仍然很有用。從DBMS和RDBMS數(shù)據(jù)庫中提取結(jié)構(gòu)化數(shù)據(jù)并對其進行標記以進行分析，非結(jié)構(gòu)化數(shù)據(jù)也是其中的一部分，多達80%的業(yè)務(wù)數(shù)據(jù)以word文件、電子表格、音頻、視頻和外部社交媒體的形式組成的非結(jié)構(gòu)化的。數(shù)據(jù)庫編程技能能夠很好地適應(yīng)MongoDb、Cassandra、Solr、Redis和Neo4j等大數(shù)據(jù)NoSQL編程平臺。

而數(shù)據(jù)庫程序員可以填補一些空白，填補轉(zhuǎn)換數(shù)據(jù)進行分析，大部分負擔(dān)將落在數(shù)據(jù)分析師等職業(yè)上。

數(shù)據(jù)分析師們負責(zé)構(gòu)建和管理提供大數(shù)據(jù)見解的算法。 Apache Hadoop 已經(jīng)成為最常見的大數(shù)據(jù)框架，大數(shù)據(jù)科學(xué)家擅長使用 Hadoop 進行分布式文件處理，以及使用開源工具，云計算資源和數(shù)據(jù)可視化工具。如果您無法找到這些任務(wù)的數(shù)據(jù)科學(xué)家，您可以嘗試招聘具有數(shù)學(xué)背景的程序員，或者了解業(yè)務(wù)問題的統(tǒng)計員。

數(shù)據(jù)分析師負責(zé)建立和管理算法，交付大數(shù)據(jù)的見解?？赡蹵pache Hadoop框架，是最常見的大數(shù)據(jù)和大數(shù)據(jù)分析師家們使用的軟件，用Hadoop分布式文件處理，以及使用開源工具、云計算資源和數(shù)據(jù)可視化工具。

漸漸的Python脫穎而出，Python在程序中使用最少的代碼進行工作而聞名。自動標識和關(guān)聯(lián)數(shù)據(jù)類型，并遵循基于縮進的嵌套結(jié)構(gòu)?？偟膩碚f，Python易于使用，并且在編碼中使用的時間較短，數(shù)據(jù)處理也沒有限制。可以在商品機器、筆記本電腦、云計算、桌面等等基本上到處都可以計算數(shù)據(jù)。早期的Python被認為比Java和Scala等同類語言要慢，隨著Anaconda平臺的發(fā)展，Python已經(jīng)在速度上做到了反超，因此，它在開發(fā)和執(zhí)行方面都是比較快速的。

• 上一篇：助推現(xiàn)代IDC液體冷卻技術(shù)復(fù)興，AI至關(guān)重要
• 下一篇：數(shù)據(jù)中心市場的五大新趨勢與五大技術(shù)解決方案
  
• 文章標簽：
• 注：原創(chuàng)內(nèi)容，禁止轉(zhuǎn)載，如有轉(zhuǎn)載，請標明出處。如有內(nèi)容侵犯您的權(quán)益，請聯(lián)系刪除！QQ:315212307