這篇文章主要介紹“大數(shù)據(jù)兩大核心技術(shù)是什么”，在日常操作中，相信很多人在大數(shù)據(jù)兩大核心技術(shù)是什么問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對(duì)大家解答”大數(shù)據(jù)兩大核心技術(shù)是什么”的疑惑有所幫助！接下來，請(qǐng)跟著小編一起來學(xué)習(xí)吧！

創(chuàng)新互聯(lián)公司專注于企業(yè)全網(wǎng)整合營銷推廣、網(wǎng)站重做改版、伊州網(wǎng)站定制設(shè)計(jì)、自適應(yīng)品牌網(wǎng)站建設(shè)、H5網(wǎng)站設(shè)計(jì)、商城網(wǎng)站建設(shè)、集團(tuán)公司官網(wǎng)建設(shè)、外貿(mào)營銷網(wǎng)站建設(shè)、高端網(wǎng)站制作、響應(yīng)式網(wǎng)頁設(shè)計(jì)等建站業(yè)務(wù)，價(jià)格優(yōu)惠性價(jià)比高，為伊州等各大城市提供網(wǎng)站開發(fā)制作服務(wù)。

Hadoop是什么?

　　Hadoop在2006年開始成為雅虎項(xiàng)目，隨后晉升為頂級(jí)Apache開源項(xiàng)目。它是一種通用的分布式系統(tǒng)基礎(chǔ)架構(gòu)，具有多個(gè)組件：Hadoop分布式文件系統(tǒng)(HDFS)，它將文件以Hadoop本機(jī)格式存儲(chǔ)并在集群中并行化; YARN，協(xié)調(diào)應(yīng)用程序運(yùn)行時(shí)的調(diào)度程序; MapReduce，這是實(shí)際并行處理數(shù)據(jù)的算法。Hadoop使用Java編程語言構(gòu)建，其上的應(yīng)用程序也可以使用其他語言編寫。通過一個(gè)Thrift客戶端，用戶可以編寫MapReduce或者Python代碼。

　　除了這些基本組件外，Hadoop還包括Sqoop，它將關(guān)系數(shù)據(jù)移入HDFS; Hive，一種類似SQL的接口，允許用戶在HDFS上運(yùn)行查詢; Mahout，機(jī)器學(xué)習(xí)。除了將HDFS用于文件存儲(chǔ)之外，Hadoop現(xiàn)在還可以配置使用S3 buckets或Azure blob作為輸入。

　　它可以通過Apache發(fā)行版開源，也可以通過Cloudera(規(guī)模和范圍大的Hadoop供應(yīng)商)，MapR或HortonWorks等廠商提供。

　　Spark是什么?

　　Spark是一個(gè)較新的項(xiàng)目，在2012年誕生在加州大學(xué)伯克利分校的AMPLab。它也是一個(gè)頂級(jí)Apache項(xiàng)目，專注于在集群中并行處理數(shù)據(jù)，一大區(qū)別在于它在內(nèi)存中運(yùn)行。

　　類似于Hadoop讀取和寫入文件到HDFS的概念，Spark使用RDD(彈性分布式數(shù)據(jù)集)處理RAM中的數(shù)據(jù)。Spark以獨(dú)立模式運(yùn)行，Hadoop集群可用作數(shù)據(jù)源，也可與Mesos一起運(yùn)行。在后一種情況下，Mesos主站將取代Spark主站或YARN以進(jìn)行調(diào)度。

　　Spark是圍繞Spark Core構(gòu)建的，Spark Core是驅(qū)動(dòng)調(diào)度，優(yōu)化和RDD抽象的引擎，并將Spark連接到正確的文件系統(tǒng)(HDFS，S3，RDBM或Elasticsearch)。Spark Core上還運(yùn)行了幾個(gè)庫，包括Spark SQL，允許用戶在分布式數(shù)據(jù)集上運(yùn)行類似SQL的命令，用于機(jī)器學(xué)習(xí)的MLLib，用于解決圖形問題的GraphX以及允許輸入連續(xù)流式日志數(shù)據(jù)的Streaming。

　　Spark有幾個(gè)API。原始界面是用Scala編寫的，并且由于大量數(shù)據(jù)科學(xué)家的使用，還添加了Python和R接口。Java是編寫Spark作業(yè)的另一種選擇。

　　Databricks是由Spark創(chuàng)始人Matei Zaharia創(chuàng)立的公司，現(xiàn)在負(fù)責(zé)    Spark開發(fā)并為客戶提供Spark分銷。

到此，關(guān)于“大數(shù)據(jù)兩大核心技術(shù)是什么”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實(shí)踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識(shí)，請(qǐng)繼續(xù)關(guān)注創(chuàng)新互聯(lián)-成都網(wǎng)站建設(shè)公司網(wǎng)站，小編會(huì)繼續(xù)努力為大家?guī)砀鄬?shí)用的文章！

網(wǎng)站題目：大數(shù)據(jù)兩大核心技術(shù)是什么-創(chuàng)新互聯(lián)
URL鏈接：http://redsoil1982.com.cn/article16/dodcgg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供全網(wǎng)營銷推廣、商城網(wǎng)站、品牌網(wǎng)站制作、服務(wù)器托管、ChatGPT、建站公司

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)