1.啟動(dòng)spark集群，就是執(zhí)行sbin/start-all.sh,啟動(dòng)master和多個(gè)worker節(jié)點(diǎn)，master主要作為集群的管理和監(jiān)控，worker節(jié)點(diǎn)主要擔(dān)任運(yùn)行各個(gè)application的任務(wù)。master節(jié)點(diǎn)需要讓worker節(jié)點(diǎn)匯報(bào)自身狀況，比如CPU,內(nèi)存多大，這個(gè)過(guò)程都是通過(guò)心跳機(jī)制來(lái)完成的

創(chuàng)新互聯(lián)專(zhuān)業(yè)為企業(yè)提供夏邑網(wǎng)站建設(shè)、夏邑做網(wǎng)站、夏邑網(wǎng)站設(shè)計(jì)、夏邑網(wǎng)站制作等企業(yè)網(wǎng)站建設(shè)、網(wǎng)頁(yè)設(shè)計(jì)與制作、夏邑企業(yè)網(wǎng)站模板建站服務(wù)，10余年夏邑做網(wǎng)站經(jīng)驗(yàn)，不只是建網(wǎng)站，更提供有價(jià)值的思路和整體網(wǎng)絡(luò)服務(wù)。

2.master收到worker的匯報(bào)信息之后，會(huì)給予worker信息

3.driver提交任務(wù)給spark集群[driver和master之間的通信是通過(guò)AKKAactor來(lái)做的，也就是說(shuō)master是akkaactor異步通信模型中的一個(gè)actor模型，driver也是一樣，driver異步向mater發(fā)送注冊(cè)信息（registerApplication）異步注冊(cè)信息]

4.master節(jié)點(diǎn)對(duì)application預(yù)估，7個(gè)G的內(nèi)存完成任務(wù)，對(duì)任務(wù)進(jìn)行分配，每一個(gè)worker節(jié)點(diǎn)上都分配3.5G的內(nèi)存去執(zhí)行任務(wù),在master就對(duì)各個(gè)worker上的任務(wù)進(jìn)行整體的監(jiān)控調(diào)度

5.worker節(jié)點(diǎn)領(lǐng)到任務(wù)，開(kāi)始執(zhí)行，在worker節(jié)點(diǎn)上啟動(dòng)相應(yīng)的executor進(jìn)程來(lái)執(zhí)行，每個(gè)executor中都有一個(gè)線程池的概念，里面存有多個(gè)task線程

6.executor會(huì)從線程池中取出task去計(jì)算rddpatition中的數(shù)據(jù)，transformation操作，action操作

7.worker節(jié)點(diǎn)向driver節(jié)點(diǎn)匯報(bào)計(jì)算狀態(tài)

通過(guò)本地并行化集合創(chuàng)建RDD

public class JavaLocalSumApp{
	public static void main(String[] args){
		SparkConf conf = new SparkConf().setAppName("JavaLocalSumApp");
		JavaSparkContext sc = new JavaSparkContext(conf);
		List<Integer> list = Arrays.asList(1,3,4,5,6,7,8);
		//通過(guò)本地并行化集合創(chuàng)建RDD
		JavaRDD <Integer> listRDD = sc.parallelize(list);
		//求和
		Integer sum = listRDD.reduce(new Function2<Integer,Integer,Integer,Integer>(){
			@Override
			    public Integer call(Integer v1,Integer v2) throws Exception{
				return v1+v2;
			}
		}
		);
		System.out.println(sum)
	}
}
//java 中的函數(shù)式編程,需要將編譯器設(shè)置成1.8
listRDD.reduce((v1,v2)=> v1+v2)

分享標(biāo)題：Spark調(diào)度架構(gòu)原理詳解-創(chuàng)新互聯(lián)
文章分享：http://redsoil1982.com.cn/article32/dshhpc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站排名、虛擬主機(jī)、網(wǎng)站設(shè)計(jì)公司、企業(yè)網(wǎng)站制作、網(wǎng)站建設(shè)、搜索引擎優(yōu)化

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)