KD115Chadoop云計(jì)算框架
不詳 ?佚名 ? 2012年02月01日 ? ?科技對(duì)接
MapReduce是一種新型并行編程模型,目前MapReduce已在大規(guī)模計(jì)算機(jī)集群上得到廣泛應(yīng)用,主要用于進(jìn)行海量數(shù)據(jù)處理的計(jì)算。本項(xiàng)目基于開(kāi)源項(xiàng)目Hadoop實(shí)現(xiàn)了Chadoop并行云計(jì)算框架,極大地提高了整個(gè)系統(tǒng)的任務(wù)處理速度。Chadoop使用C語(yǔ)言實(shí)現(xiàn)單節(jié)點(diǎn)上的作業(yè)處理邏輯,以實(shí)現(xiàn)原有Java虛擬機(jī)之上很難乃至無(wú)法實(shí)現(xiàn)的任務(wù)并行和數(shù)據(jù)局部性優(yōu)化;對(duì)應(yīng)于一般的集群環(huán)境中的雙層并行架構(gòu),采用層次化的MapReduce架構(gòu),在單個(gè)計(jì)算節(jié)點(diǎn)上也應(yīng)用MapReduce模型以實(shí)現(xiàn)多核架構(gòu)上的并行處理。Chadoop同時(shí)實(shí)現(xiàn)了一套支持跨任務(wù)數(shù)據(jù)復(fù)用的緩存系統(tǒng),能夠保存任務(wù)已讀取的數(shù)據(jù),使其不隨子作業(yè)的結(jié)束而銷毀,提高了數(shù)據(jù)復(fù)用性,從而大大減少額外的網(wǎng)絡(luò)數(shù)據(jù)傳輸開(kāi)銷。擁有一項(xiàng)發(fā)明專利。
手機(jī)體驗(yàn)

微信公眾號(hào)

微信小程序

手機(jī)版
-
微分享
