EMR將執(zhí)行的指標(biāo)匯報(bào)給CloudWarch,這使得可以簡化對(duì)EMR作業(yè)流和MapReduce作業(yè)執(zhí)行的監(jiān)控。也可以設(shè)定告警——如果一個(gè)指標(biāo)超出指定范圍時(shí)警告有關(guān)人員。指標(biāo)值每5分鐘更新依次,每兩周歸檔次。兩周以前的數(shù)據(jù)會(huì)被丟棄。CloudWatch指標(biāo)值可以做如下事情:
  通過檢查RunningMapTasks、RemainingReduceTasks、RunningReduceTasks和RemainingReduceTasks度量值追蹤MapReduce作業(yè)的進(jìn)度。
  通過檢查跟蹤作業(yè)流非活躍性的IsIdle變量值檢測空閑作業(yè)流。
  通過檢查表示當(dāng)前HDFS空間使用百分比的HDFSUtilizaion度量值來檢測節(jié)點(diǎn)何時(shí)會(huì)耗盡存儲(chǔ)。
在使用HBase的情況下,有一個(gè)額外的CloudWatch指標(biāo)可用,且支持HBase各份統(tǒng)計(jì)(包括HBase備份嘗試失敗計(jì)數(shù)、備份時(shí)長和上次各份以來的時(shí)間)。
  此外還提共了EMR和DynamoDB之間的集成。EMR的Hive擴(kuò)展支持將DymamoDB視為Hive表。盡管和DynamoDB的集成看上去是很小的實(shí)現(xiàn)(只實(shí)現(xiàn)了一個(gè)自定義的ImputFromat和讀取器類,類似于第4章中描述的情況),但EMR Hive的實(shí)現(xiàn)通過利用Dynamo內(nèi)部的知識(shí)優(yōu)化了分裂計(jì)算。因而,對(duì)使用基于Dynamo數(shù)據(jù)的情況,EMR的建議是利用Hive在DymamoDB和HDFS之間移動(dòng)數(shù)據(jù),然后使用HDFS本地?cái)?shù)據(jù)復(fù)制來進(jìn)行額外的計(jì)算。
  最后,AWS數(shù)據(jù)管道(本章后面有討論)支持與EMR的集成,這簡化了BTL流程中EMR的使用。
  除了AWS提供的集成之外,利用所有AWS組件(包括BMR本身提供的AP也可以進(jìn)行集成。

 

★關(guān)于WorkWin公司電腦監(jiān)控軟件★

WorkWin的使命是打造Work用途的Windows 電腦系統(tǒng),有效規(guī)范員工上網(wǎng)行為,讓老板知道員工每天在做什么(監(jiān)控包括屏幕、上網(wǎng)在內(nèi)的一舉一動(dòng)),限制員工不能做什么(禁止網(wǎng)購、游戲、優(yōu)盤等)。

WorkWin基于純軟件設(shè)計(jì),非常容易使用,無需添加或改動(dòng)任何硬件,使用一臺(tái)管理機(jī)監(jiān)控全部員工機(jī)電腦。歷經(jīng)南京網(wǎng)亞十余年精心打造,此時(shí)此刻每天都有成千上萬企業(yè)電腦正在運(yùn)行WorkWin,選擇WorkWin選擇“贏”。

WorkWin介紹

WorkWin監(jiān)控首頁 短視頻講解 下載免費(fèi)試用版

版權(quán)所有,南京網(wǎng)亞計(jì)算機(jī)有限公司 。本文鏈接地址: 利用CouWatch和其他AWS組件