英特爾提供的Hadoop發(fā)行版包含Hadoop分布式文件系統(tǒng)HDFS、分布式數(shù)據(jù)庫HBase、分布式計算框架MapReduce、數(shù)據(jù)倉庫Hive、數(shù)據(jù)處理Pig、機器學(xué)習(xí)Mahout商業(yè)套件。
其中,Hadoop 分布式文件系統(tǒng)(HDFS)是運行在通用硬件上的分布式文件系統(tǒng)。HDFS提供了一個高度容錯性和高吞吐量的海量數(shù)據(jù)存儲解決方案。它具備高吞吐量訪問、無縫容量擴充、高度容錯的特點。
HBase是一個面向列的實時分布式數(shù)據(jù)庫。HBase不是一個關(guān)系型數(shù)據(jù)庫,其設(shè)計目標(biāo)是用來解決關(guān)系型數(shù)據(jù)庫在處理海量數(shù)據(jù)時的理論和實現(xiàn)上的局限性。HBase從一開始就是為Terabyte到Petabyte級別的海量數(shù)據(jù)存儲和高速讀寫而設(shè)計,這些數(shù)據(jù)要求能夠被分布在數(shù)千臺普通服務(wù)器上,并且能夠被大量并發(fā)用戶高速訪問。
MapReduce是一個高性能的批處理分布式計算框架,用于對海量數(shù)據(jù)進行并行分析和處理。MapReduce適合處理各種類型的數(shù)據(jù),包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。
Hive是一種建立在Hadoop之上的數(shù)據(jù)倉庫架構(gòu)。它采用HDFS進行數(shù)據(jù)存儲并利用MapReduce 框架進行數(shù)據(jù)操作。所以從本質(zhì)上來說,Hive就是個編譯器,它把用戶的操作(查詢或者ETL)變換成MapReduce任務(wù),利用MapReduce框架執(zhí)行這些任務(wù)以對HDFS上的海量數(shù)據(jù)進行處理。它具備針對海量數(shù)據(jù)的高性能查詢和分析系統(tǒng)和類SQL的查詢語言HiveQL。
Pig是一個基于Hadoop并運用MapReduce和HDFS 實現(xiàn)大規(guī)模數(shù)據(jù)分析的平臺。它為海量數(shù)據(jù)的并行處理提供了操作以及編程實現(xiàn)的接口。
Mahout是一套具有可擴充能力的機器學(xué)習(xí)類庫。它提供機器學(xué)習(xí)框架的同時,還實現(xiàn)了一些可擴展的機器學(xué)習(xí)領(lǐng)域經(jīng)典算法的實現(xiàn),可以幫助開發(fā)人員更加方便快捷地創(chuàng)建智能應(yīng)用程序。通過和Apache Hadoop分布式框架相結(jié)合,Mahout可以有效地使用分布式系統(tǒng)來實現(xiàn)高性能計算。