一、前言：

　　非常感謝Hadoop專業(yè)解決方案群：313702010，兄弟們的大力支持，在此說一聲辛苦了，經過兩周的努力，已經有啦初步的成果，目前第1章 大數(shù)據(jù)和Hadoop生態(tài)圈小組已經翻譯完成，在此對：譯者：賈艷成 QQ：496830205 表示感謝。

二、意見征集：

　　本章節(jié)由《Hadoop專業(yè)解決方案群：313702010》翻譯小組完成，為小組校驗稿，已經通過小組內部校驗通過，特此面向網(wǎng)絡征集意見，如果對本章節(jié)內容有任何異議，請在評論中加以說明，說明時，請標明行號，也可以以修訂的方式，發(fā)送給我。非常感謝。

三、原書說明

　　英文原書《Wrox.Professional.Hadoop.Solutions》第一章，請參照英文原文。

四、翻譯原稿

第一章     大數(shù)據(jù)和Hadoop生態(tài)圈

• 理解大數(shù)據(jù)的挑戰(zhàn)

• 了解Hadoop生態(tài)圈

• 了解Hadoop發(fā)行版

• 使用基于Hadoop的企業(yè)級應用

你可能聽別人說過，我們生活在“大數(shù)據(jù)”的環(huán)境中。技術驅動著當今世界的發(fā)展，計算能力飛速增長，電子設備越來越普遍，因特網(wǎng)越來越容易接入，與此同時，比以往任何時候都多的數(shù)據(jù)正在被傳輸和收集。

企業(yè)正在以驚人的速度產生數(shù)據(jù)。僅Facebook每天就會收集 250 TB 的數(shù)據(jù)。Thompson Reuters News Analytics （湯普森路透社新聞分析）顯示，現(xiàn)在數(shù)字數(shù)據(jù)的總量比2009年的1ZB（1ZB等同于一百萬 PB）多了兩倍多，到 2015 年有可能將達到7.9ZB，到 2020 年則有可能會達到35ZB。其他調查機構甚至做出了更高的預測。

隨著企業(yè)產生并收集的數(shù)據(jù)量增多，他們開始認識到數(shù)據(jù)分析的重要性。但是，他們必須先有效地管理好自己擁有的大量信息。這會產生新的挑戰(zhàn)：怎樣才能存儲大量的數(shù)據(jù)？怎樣處理它們？怎樣高效地分析它們？既然數(shù)據(jù)會增加，又如何構建一個可擴展的解決方案？

不僅研究人員和數(shù)據(jù)科學家要面對大數(shù)據(jù)的挑戰(zhàn)。幾年前，在Google+ 大會上，計算機書籍出版者Tim O’Reilly引用過Alistair Croll的話，“這些產生了大量的無明顯規(guī)律數(shù)據(jù)的公司，正在被那些產生了相對較少的有規(guī)律數(shù)據(jù)的新創(chuàng)公司取代……”。簡而言之，Croll想要說，除非你的企業(yè)“理解”你擁有的數(shù)據(jù)，否則你的企業(yè)無法與那些“理解”自身數(shù)據(jù)的公司抗衡。

企業(yè)已經意識到：大數(shù)據(jù)與商業(yè)競爭、態(tài)勢感知、生產力、科學和創(chuàng)新等密切相關，分析這些大數(shù)據(jù)能夠獲得巨大的效益。因為商業(yè)競爭正在驅動大數(shù)據(jù)分析，所以大多數(shù)企業(yè)認同O’Reilly和Croll的觀點。他們認為當今企業(yè)的生存依賴于存儲、處理和分析大量信息的能力，依賴于是否掌控了接受大數(shù)據(jù)挑戰(zhàn)的能力。

如果你閱讀這本書，你將會熟悉這些挑戰(zhàn)，熟悉Apache的Hadoop，并且知道Hadoop可以解決哪些問題。本章主要介紹大數(shù)據(jù)的前景和挑戰(zhàn)，并且概述Hadoop及其組件生態(tài)圈?？梢岳眠@些組件構建可擴展、分布式的數(shù)據(jù)分析解決方案。

1.1 當大數(shù)據(jù)遇到Hadoop

由于“人力資本”是一個無形的、對成功至關重要的因素，所以多數(shù)企業(yè)都認為他們的員工才是他們最有價值的財產。其實還有另外一個關鍵因素——企業(yè)所擁有的“信息”。信息可信度、信息量和信息可訪問性可以增強企業(yè)信息能力，從而使企業(yè)做出更好的決策。

要理解企業(yè)產生的大量的數(shù)字信息是非常困難的。IBM指出在過去僅僅兩年的時間里產生了世界90%的數(shù)據(jù)。企業(yè)正在收集、處理和存儲這些可能成為戰(zhàn)略資源的數(shù)據(jù)。十年前，Michael Daconta, Leo Obrst, and Kevin T.Smith (Indianapolis: Wiley, 2004)寫的一本書《The Semantic Web: A Guide to the Future of XML, Web Services, and Knowledge Management》中有句格言“只有擁有最好的信息，知道怎樣發(fā)現(xiàn)信息，并能夠最快利用信息的企業(yè)才能立于不敗之地”。

知識就是力量。問題是，隨著收集的數(shù)據(jù)越來越多，傳統(tǒng)的數(shù)據(jù)庫工具將不能管理，并且快速處理這些數(shù)據(jù)。這將導致企業(yè)“淹沒”在自己的數(shù)據(jù)中：不能有效利用數(shù)據(jù)，不能理解數(shù)據(jù)之間的聯(lián)系，不能理解數(shù)據(jù)潛在的巨大力量。

人們用“大數(shù)據(jù)”來描述過于龐大的數(shù)據(jù)集，這些數(shù)據(jù)集一般無法使用傳統(tǒng)的用于存儲、管理、搜索和分析等過程的工具來處理。大數(shù)據(jù)有眾多來源，可以是結構型的，也可以是非結構型的；通過處理和分析大數(shù)據(jù)，可以發(fā)現(xiàn)內部規(guī)律和模式，從而做出明智選擇。

什么是大數(shù)據(jù)的挑戰(zhàn)？怎么存儲、處理和分析如此大的數(shù)據(jù)量，從而從海量數(shù)據(jù)中獲取有用信息？

分析大數(shù)據(jù)，需要大量的存儲空間和超級計算處理能力。在過去的十年中，研究人員嘗試了各種的方法來解決數(shù)字信息增加帶來的問題。首先，把重點放在了給單個計算機更多的存儲、處理能力和內存等上面，卻發(fā)現(xiàn)單臺計算機的分析能力并不能解決問題。隨著時間的推移，許多組織實現(xiàn)了分布式系統(tǒng)（通過多臺計算機分布任務），但是分布式系統(tǒng)的數(shù)據(jù)分析解決方案往往很復雜，并且容易出錯，甚至速度不夠快。

在2002年，Doug Cutting和Mike Cafarella開發(fā)一個名為Nutch的項目（專注于解決網(wǎng)絡爬蟲、建立索引和搜索網(wǎng)頁的搜索引擎項目），用于處理大量信息。在為Nutch項目解決存儲和處理問題的過程中，他們意識到，需要一個可靠的、分布式計算方法，為Nutch收集大量網(wǎng)頁數(shù)據(jù)。

一年后，谷歌發(fā)表了關于谷歌文件系統(tǒng)（GFS）和MapReduce的論文，MapReduce是一個用來處理大型數(shù)據(jù)集的算法和分布式編程平臺。當意識到集群的分布式處理和分布式存儲的前景后，Cutting和Cafarella把這些論文作為基礎，為Nutch構建分布式平臺，開發(fā)了我們所熟知的Hadoop分布式文件系統(tǒng)（HDFS）和MapReduce。

在2006年，Yahoo在為搜索引擎建立大量信息的索引的過程中，經歷了“大數(shù)據(jù)”挑戰(zhàn)的掙扎之后，看到了Nutch項目的前景，聘請了Doug Cutting，并迅速決定采用Hadoop作為其分布式架構，用來解決搜索引擎方面的問題。雅虎剝離出來Nutch項目的存儲和處理部分，形成Apache基金的一個開源項目Hadoop，與此同時Nutch的網(wǎng)絡爬蟲項目保持自己獨立性。此后不久，雅虎開始使用Hadoop分析各種產品應用。該平臺非常有效，以至于雅虎把搜索業(yè)務和廣告業(yè)務合并成一個單元，從而更好地利用Hadoop技術。

在過去的10年中，Hadoop已經從搜索引擎相關的平臺，演變?yōu)樽盍餍型ㄓ玫挠嬎闫脚_，用于解決大數(shù)據(jù)帶來的挑戰(zhàn)。它正在快速成為下一代基于數(shù)據(jù)的應用程序的基礎。市場研究公司IDC預計，到2016年，Hadoop驅動的大數(shù)據(jù)市場將超過23億美元。自從2008年建立第一家以Hadoop為中心的公司Cloudera之后，幾十家基于Hadoop的創(chuàng)業(yè)公司吸引了數(shù)億美元的風險投資。簡而言之，Hadoop為企業(yè)提供了一個行之有效的方法，來進行大數(shù)據(jù)分析。

1.1.1 Hadoop：迎接大數(shù)據(jù)挑戰(zhàn)

Apache的Hadoop通過簡化數(shù)據(jù)密集型、高度并行的分布式應用的實現(xiàn)，以此迎接大數(shù)據(jù)的挑戰(zhàn)。世界各地的企業(yè)、大學和其它組織都在使用Hadoop，Hadoop把任務分成任務片，分布在數(shù)千臺計算機上，從而進行快速分析，并分布式存儲大量的數(shù)據(jù)。Hadoop利用大量廉價的計算機，提供了一個可擴展強，可靠性高的機制；并利用廉價的方式來存儲大量數(shù)據(jù)。Hadoop還提供了新的和改進的分析技術，從而使大量結構化數(shù)據(jù)的復雜分析變?yōu)榭赡堋?/p>

Hadoop與以前的分布式方法的區(qū)別：

• 數(shù)據(jù)先進行分布式存儲。

• 在集群上備份多份數(shù)據(jù)，從而來提高可靠性和實用性。數(shù)據(jù)在哪存儲就在哪處理，從而消除了帶寬瓶頸問題。

此外，Hadoop隱藏了復雜的分布式實現(xiàn)過程，提供了一種簡單的編程方法。從而，Hadoop得以提供強大的數(shù)據(jù)分析機制，包括以下內容：

• 存儲量大——Hadoop能夠使應用程序運行在成千上萬的計算機和PB級數(shù)據(jù)上。在過去的十年中，計算機專家認識到，那些曾經只能由超級計算機來處理的高性能應用，可以由大量廉價的計算機一起處理。在集群中，數(shù)百臺“小”的電腦的聚合計算能力，可以超過一臺超級計算機的計算能力，并且價格便宜。Hadoop利用超過數(shù)千臺機器的集群，在企業(yè)可以承受的價格范圍內，提供了巨大的存儲空間和處理能力。

• 分布式處理與快速的數(shù)據(jù)訪問——Hadoop集群在提供高效數(shù)據(jù)存儲能力的同時，也提供了快速的數(shù)據(jù)訪問能力。在Hadoop出現(xiàn)之前，應用程序很難并行運行在計算機集群之間。這是因為集群模型在創(chuàng)建共享存儲數(shù)據(jù)時，對I/O性能要求很高。用Hadoop來處理數(shù)據(jù)，減輕了許多高性能的挑戰(zhàn)。此外，Hadoop應用程序處理數(shù)據(jù)通常都是有序進行的，這就避免了隨機的數(shù)據(jù)訪問（磁盤尋道操作），進一步減輕了I/O負載。

• 可靠性，故障轉移和可擴展性——在過去，并行應用程序很難解決集群上機器的可靠性問題。雖然單臺機器的可靠性相當高，但是隨著群集增加，出故障的概率也隨之增加。在數(shù)千個節(jié)點的集群上，這種日常故障經常發(fā)生。由于Hadoop有獨特的設計和實施方式，相同的故障將會產生相似的結果。從而，Hadoop可以監(jiān)測到這些故障，并利用不同的節(jié)點重新執(zhí)行任務。此外，Hadoop有很好的可擴展性，實現(xiàn)無縫地將多個服務器整合到一個集群，并利用它們來存儲數(shù)據(jù)、執(zhí)行程序。

對于大多數(shù)Hadoop用戶而言，Hadoop最重要的特征是，將業(yè)務規(guī)劃和基礎設施維護進行了清晰的劃分。為那些專注于商業(yè)業(yè)務的用戶，隱藏了Hadoop的基礎設施的復雜性，并提供了一個易于使用的平臺，從而使復雜的分布式計算的問題簡單化。

1.1.2 商業(yè)界的數(shù)據(jù)科學

Hadoop的存儲和處理大數(shù)據(jù)的能力經常與“數(shù)據(jù)科學”掛鉤。雖然該詞是由彼得·諾爾在20世紀60年代提出的，但是直到最近才引起人們廣泛關注。美國雪域大學杰弗里·斯坦頓德教授把“數(shù)據(jù)科學”定義為“一個專注于搜集、分析、可視化、管理和大量信息保存的新興領域”。

通常將“數(shù)據(jù)科學”這一術語用在商業(yè)業(yè)務分析中，與實際中的“大數(shù)據(jù)”學科有很大的不同。在數(shù)據(jù)科學中，業(yè)務分析師通過研究現(xiàn)有商業(yè)運作模式，來提升業(yè)務。

數(shù)據(jù)科學的目標是從數(shù)據(jù)提取出數(shù)據(jù)的真正含義。數(shù)據(jù)科學家基于數(shù)學、統(tǒng)計分析、模式識別、機器學習、高性能計算和數(shù)據(jù)倉庫等來工作，通過分析數(shù)據(jù)來發(fā)現(xiàn)事物發(fā)展趨勢，并基于收集到的信息開發(fā)新業(yè)務。

在過去的幾年中，許多數(shù)據(jù)庫和編程方面的業(yè)務分析師成為了數(shù)據(jù)科學家。他們在Hadoop生態(tài)圈中，使用高級的SQL工具（比如：Hive或者實時Hadoop查詢工具）進行數(shù)據(jù)分析，以做出明智的業(yè)務決策。

不只是“一個大數(shù)據(jù)庫”

在本書后面會深入講解Hadoop，但在此之前，讓我們先消除這樣的誤區(qū)——Hadoop僅僅是數(shù)據(jù)分析師使用的工具。因為對于那些熟悉數(shù)據(jù)庫查詢的人，Hadoop工具（如Hive和實時Hadoop查詢）提供了較低的門檻，所以一些人認為Hadoop僅僅是以數(shù)據(jù)庫為中心的工具。

此外，如果你正在試圖解決的問題超出了數(shù)據(jù)分析的范疇，并涉及到真正的“科學數(shù)據(jù)”的問題，這時，SQL數(shù)據(jù)挖掘技術將明顯變得不再實用。例如，大多數(shù)問題的解決，需要用到線性代數(shù)和其它復雜的數(shù)學應用程序，然而，這些問題都不能用SQL很好地解決。

這意味著，使用Hadoop工具是解決這類問題的最好辦法。利用Hadoop的MapReduce編程模型，不但解決了數(shù)據(jù)科學的問題，而且明顯簡化了企業(yè)級應用創(chuàng)建和部署的過程?？梢酝ㄟ^多種方式做到這一點——可以使用一些工具，這些工具往往要求開發(fā)者具備軟件開發(fā)技能。例如，通過使用基于Oozie的應用程序進行協(xié)調（在本書后面將詳細介紹Oozie），可以簡化多個應用程序的匯集過程，并非常靈活地鏈接來自多個工具的任務。在本書中，你會看到Hadoop在企業(yè)中的實際應用，以及什么時候使用這些工具。

目前Hadoop的開發(fā)，主要是為了更好地支持數(shù)據(jù)科學家。Hadoop提供了一個強大的計算平臺，擁有高擴展性和并行執(zhí)行能力，非常適合應用于新一代功能強大的數(shù)據(jù)科學和企業(yè)級應用。并且，Hadoop還提供了可伸縮的分布式存儲和MapReduce編程模式。企業(yè)正在使用Hadoop解決相關業(yè)務問題，主要集中在以下幾個方面：

• 為銀行和信用卡公司增強欺詐性檢測——公司正在利用Hadoop檢測交易過程中的欺詐行為。銀行通過使用Hadoop，建立大型集群，進行數(shù)據(jù)分析；并將分析模型應用于銀行交易過程，從而提供實時的欺詐行為檢測。

• 社交媒體市場分析——公司目前正在使用Hadoop進行品牌管理、市場推廣活動和品牌保護?；ヂ?lián)網(wǎng)充滿了各種資源，例如博客、版面、新聞、推特和社會媒體數(shù)據(jù)等。公司利用Hadoop監(jiān)測、收集、匯聚這些信息，并提取、匯總自身的產品和服務信息，以及競爭對手的相關信息，發(fā)掘內在商業(yè)模式，或者預測未來的可能趨勢，從而更加了解自身的業(yè)務。

• 零售行業(yè)購物模式分析——在零售行業(yè)，通過使用Hadoop分析商店的位置和它周圍人口的購物模式，來確定商店里哪些產品最暢銷。

• 城市發(fā)展的交通模式識別——城市發(fā)展往往需要依賴交通模式，來確定道路網(wǎng)絡擴展的需求。通過監(jiān)控在一天內不同時間的交通狀況，發(fā)掘交通模型，城市規(guī)劃人員就可以確定交通瓶頸。從而決定是否需要增加街道或者車道，來避免在高峰時段的交通擁堵。

• 內容優(yōu)化和內容參與——企業(yè)越來越專注于優(yōu)化內容，將其呈現(xiàn)在不同的設備上，并支持不同格式。因此，許多媒體公司需要處理大量的不同的格式的內容。所以，必須規(guī)劃內容參與模式，才能進行反饋和改進。

• 網(wǎng)絡分析和調解——針對交易數(shù)據(jù)、網(wǎng)絡性能數(shù)據(jù)、基站數(shù)據(jù)、設備數(shù)據(jù)以及其他形式的后臺數(shù)據(jù)等，進行大數(shù)據(jù)實時分析，能夠降低公司運營成本，增強用戶體驗。

• 大數(shù)據(jù)轉換——紐約時報要將1100萬篇文章（1851至1980年）轉換成PDF文件，這些文章都是從報紙上掃描得到的圖片。利用Hadoop技術，這家報社能夠在24小時內，將4TB的掃描文章轉換為1.5TB的PDF文檔。

類似的例子數(shù)不勝數(shù)。企業(yè)正在逐步使用Hadoop進行數(shù)據(jù)分析，從而作出更好的戰(zhàn)略決策。總而言之，數(shù)據(jù)科學已經進入了商界。

不僅僅是針對商業(yè)的大數(shù)據(jù)工具

雖然這里的大多數(shù)例子針對于商業(yè)，但是Hadoop也被廣泛應用在科學界和公有企業(yè)。

最近一項由美國科技基金會進行的研究指出，醫(yī)療研究人員已經證明，大數(shù)據(jù)分析可以被用于分析癌癥患者的信息，以提高治療效果（比如，蘋果創(chuàng)始人喬布斯的治療過程）。警察部門正在使用大數(shù)據(jù)工具，來預測犯罪可能的發(fā)生時間和地點，從而降低了犯罪率。同樣的調查也表明，能源方面的官員正在利用大數(shù)據(jù)工具，分析相關的能量損耗和潛在的電網(wǎng)故障問題。

通過分析大數(shù)據(jù)可以發(fā)現(xiàn)模型和趨勢，提高效率，從而用新方法來作出更好的決策。

1.2 Hadoop生態(tài)圈

架構師和開發(fā)人員通常會使用一種軟件工具，用于其特定的用途軟件開發(fā)。例如，他們可能會說，Tomcat是Apache Web服務器，MySQL是一個數(shù)據(jù)庫工具。

然而，當提到Hadoop的時候，事情變得有點復雜。Hadoop包括大量的工具，用來協(xié)同工作。因此，Hadoop可用于完成許多事情，以至于，人們常常根據(jù)他們使用的方式來定義它。

對于一些人來說，Hadoop是一個數(shù)據(jù)管理系統(tǒng)。他們認為Hadoop是數(shù)據(jù)分析的核心，匯集了結構化和非結構化的數(shù)據(jù)，這些數(shù)據(jù)分布在傳統(tǒng)的企業(yè)數(shù)據(jù)棧的每一層。對于其他人，Hadoop是一個大規(guī)模并行處理框架，擁有超級計算能力，定位于推動企業(yè)級應用的執(zhí)行。還有一些人認為Hadoop作為一個開源社區(qū)，主要為解決大數(shù)據(jù)的問題提供工具和軟件。因為Hadoop可以用來解決很多問題，所以很多人認為Hadoop是一個基本框架。

雖然Hadoop提供了這么多的功能，但是仍然應該把它歸類為多個組件組成的Hadoop生態(tài)圈，這些組件包括數(shù)據(jù)存儲、數(shù)據(jù)集成、數(shù)據(jù)處理和其它進行數(shù)據(jù)分析的專門工具。

1.3  HADOOP核心部件

隨著時間的推移，Hadoop生態(tài)圈越來越大，圖1-1給出了Hadoop核心組件。

圖1：Hadoop生態(tài)圈的核心組成組件

從圖1-1的底部開始，Hadoop生態(tài)圈由以下內容組成：

• HDFS—— Hadoop生態(tài)圈的基本組成部分是Hadoop分布式文件系統(tǒng)（HDFS）。HDFS是一種數(shù)據(jù)分布式保存機制，數(shù)據(jù)被保存在計算機集群上。數(shù)據(jù)寫入一次，讀取多次。HDFS為HBase等工具提供了基礎。

• MapReduce——Hadoop的主要執(zhí)行框架是MapReduce，它是一個分布式、并行處理的編程模型。MapReduce把任務分為map(映射)階段和reduce(化簡)。開發(fā)人員使用存儲在HDFS中數(shù)據(jù)（可實現(xiàn)快速存儲），編寫Hadoop的MapReduce任務。由于MapReduce工作原理的特性， Hadoop能以并行的方式訪問數(shù)據(jù)，從而實現(xiàn)快速訪問數(shù)據(jù)。

• Hbase——HBase是一個建立在HDFS之上，面向列的NoSQL數(shù)據(jù)庫，用于快速讀/寫大量數(shù)據(jù)。HBase使用Zookeeper進行管理，確保所有組件都正常運行。

• Zookeeper ——用于Hadoop的分布式協(xié)調服務。Hadoop的許多組件依賴于Zookeeper，它運行在計算機集群上面，用于管理Hadoop操作。

• Oozie——Oozie是一個可擴展的工作體系，集成于Hadoop的堆棧，用于協(xié)調多個MapReduce作業(yè)的執(zhí)行。它能夠管理一個復雜的系統(tǒng)，基于外部事件來執(zhí)行，外部事件包括數(shù)據(jù)的定時和數(shù)據(jù)的出現(xiàn)。

• Pig——它是MapReduce編程的復雜性的抽象。Pig平臺包括運行環(huán)境和用于分析Hadoop數(shù)據(jù)集的腳本語言(Pig Latin)。其編譯器將Pig Latin翻譯成MapReduce程序序列。

• Hive ——Hive類似于SQL高級語言，用于運行存儲在Hadoop上的查詢語句，Hive讓不熟悉MapReduce開發(fā)人員也能編寫數(shù)據(jù)查詢語句，然后這些語句被翻譯為Hadoop上面的MapReduce任務。像Pig一樣，Hive作為一個抽象層工具，吸引了很多熟悉SQL而不是Java編程的數(shù)據(jù)分析師。

Hadoop的生態(tài)圈還包括以下幾個框架，用來與其它企業(yè)融合：

• Sqoop是一個連接工具，用于在關系數(shù)據(jù)庫、數(shù)據(jù)倉庫和Hadoop之間轉移數(shù)據(jù)。Sqoop利用數(shù)據(jù)庫技術描述架構，進行數(shù)據(jù)的導入/導出；利用MapReduce實現(xiàn)并行化運行和容錯技術。

• Flume提供了分布式、可靠、高效的服務，用于收集、匯總大數(shù)據(jù)，并將單臺計算機的大量數(shù)據(jù)轉移到HDFS。它基于一個簡單而靈活的架構，并提供了數(shù)據(jù)流的流。它利用簡單的可擴展的數(shù)據(jù)模型，將企業(yè)中多臺計算機上的數(shù)據(jù)轉移到Hadoop。

除了在圖1-1所示的核心部件外，Hadoop生態(tài)圈正在不斷增長，以提供更新功能和組件，如以下內容：

• Whirr——Whirr是一組用來運行云服務的Java類庫，使用戶能夠輕松地將Hadoop集群運行于Amazon EC2、Rackspace等虛擬云計算平臺。

• Mahout——Mahout是一個機器學習和數(shù)據(jù)挖掘庫，它提供的MapReduce包含很多實現(xiàn)，包括聚類算法、回歸測試、統(tǒng)計建模。通過使用 Apache Hadoop 庫，可以將Mahout有效地擴展到云中。

• BigTop —— BigTop作為Hadoop子項目和相關組件，是一個用于打包和互用性測試的程序和框架。

• Ambari——?Ambar通過為配置、管理和監(jiān)控Hadoop集群提供支持，簡化了Hadoop的管理。

Hadoop家族成員正在逐步增加。在本書中，主要涉及到了三個新的Apache Hadoop孵化項目。

孵化項目演變到Apach項目的過程

下面將會簡要介紹Apache基金會的運作方式，以及Apache各種項目及其彼此之間的聯(lián)系。Apache的個人會員共同治理整個組織，Apache提供項目的創(chuàng)建、成熟和回收。

新的項目開始于“孵化器”。建立Apache孵化器，是為了幫助新項目加入Apache。Apache提供管理和檢驗，經過篩選后，再建立新的項目或者子項目。在創(chuàng)建孵化項目后，Apache會評估項目的成熟度，并負責將孵化器中的項目“畢業(yè)”到Apache項目或子項目。孵化器也會由于各種原因而終止一些項目。

要查看孵化器中項目（當前的、孵化成功的、暫時停止的和回收的）的完整列表，可以通過此網(wǎng)址：http://incubator./projects/index.html。

當今大多數(shù)的Hadoop方面的書籍，要么專注于Hadoop生態(tài)圈中某個獨立組件的描述，要么介紹如何使用Hadoop業(yè)務分析工具（如Pig和Hive）。盡管這些方面也很重要，但是這些書籍通常沒有進行深入的描述，并不能幫助架構師建立基于Hadoop的企業(yè)級應用或復雜應用。

1.4 Hadoop發(fā)行版本

雖然Hadoop是開源的Apache（和現(xiàn)在GitHub）項目，但是在Hadoop行業(yè)，仍然出現(xiàn)了大量的新興公司，以幫助人們更方便地使用Hadoop為目標。這些企業(yè)大多將Hadoop發(fā)行版進行打包、改進，以確保所有的軟件一起工作，并提供技術支持?，F(xiàn)在，Apache自己也在開發(fā)更多的工具來簡化Hadoop的使用，并擴展其功能。這些工具是專有的，并有所差異。有的工具成為了Apache Hadoop家族中新項目的基礎。其中，有些是經過Apache2許可的開源GitHub項目。盡管所有這些公司都基于Apache Hadoop發(fā)行版，但是他們都與Hadoop的愿景有了細微的不同——應該選取哪個方向，怎樣完成它。

這些公司之間最大的區(qū)別是：Apache源代碼的使用。除了MapR公司之外，都認為Hadoop應該由Apache項目的代碼定義。相反，MapR認為Apache的代碼只是實施參考，可以基于Apache提供的API來實現(xiàn)自己的需求。這種方法使得MapR做出了很大的創(chuàng)新，特別是在HDFS和HBase方面，MapR讓這兩個基本Hadoop的存儲機制更加可靠、更加高性能。MapR還推出了高速網(wǎng)絡文件系統(tǒng)（NFS），可以訪問HDFS，從而大大簡化了一些企業(yè)級應用的集成。

有兩個關注度較高的Hadoop發(fā)行版，分別由亞馬遜和微軟發(fā)布。兩者都提供Hadoop的預安裝版本，運行于相應的云服務平臺（Amazon or Azure），提供PaaS服務。它們都提供了擴展服務，允許開發(fā)人員不僅能夠利用Hadoop的本地HDFS，也可以通過HDFS映射利用微軟和雅虎的數(shù)據(jù)存儲機制（Amazon的S3，和Azure的Windows Azure存儲機制）。亞馬遜還提供了，在S3上面保存和恢復HBase內容的功能。

表1-1展示了主要的Hadoop發(fā)行版的主要特點。

表1： 不同的Hadoop供應商

當然，大量的發(fā)行版讓你疑惑“我應該使用哪個發(fā)行版？”當公司/部門決定采用一個具體的版本時，應該考慮以下幾點：

技術細節(jié)——包括Hadoop的版本、組件、專有功能部件等等。

易于部署——使用工具箱來實現(xiàn)管理的部署、版本升級、打補丁等等。

易于維護——主要包括集群管理、多中心的支持、災難恢復支持等等。

成本——包括針發(fā)行版的實施成本、計費模式和許可證。

企業(yè)集成的支持——Hadoop應用程序與企業(yè)中其他部分的集成。

版本的選擇依賴于，你打算利用Hadoop來解決哪些問題。本書中的討論與版本無關，因為筆者看中的是每個發(fā)行版提供的價值。

1.5 用Hadoop開發(fā)企業(yè)級應用

為了滿足大數(shù)據(jù)帶來的新挑戰(zhàn)，需要重新思考構建數(shù)據(jù)分析的程序的方式。傳統(tǒng)的在數(shù)據(jù)庫中存儲數(shù)據(jù)，構建應用程序的方法，對于大數(shù)據(jù)處理將不再有效。主要因為：

• 傳統(tǒng)的應用程序基于事務處理型數(shù)據(jù)庫，這種數(shù)據(jù)庫將不再被Hadoop支持。

• 隨著存儲在Hadoop上的數(shù)據(jù)量增大，實時訪問僅僅能夠訪問到集群上的一部分數(shù)據(jù)。

• Hadoop的海量數(shù)據(jù)存儲功能可以存儲更多的數(shù)據(jù)集版本，不會像傳統(tǒng)方法一樣覆蓋原始數(shù)據(jù)。

因此，一個典型的基于Hadoop的企業(yè)級應用如圖1-2所示。在這些應用中，包括數(shù)據(jù)存儲層、數(shù)據(jù)處理層、實時訪問層和安全層。要實現(xiàn)這種體系結構，不僅需要理解Hadoop組件所涉及的API，而且需要理解他們的功能和局限性，以及每個組件在整體架構中的作用。

如圖1-2所示，數(shù)據(jù)存儲層包括源數(shù)據(jù)和中間數(shù)據(jù)。源數(shù)據(jù)主要來自這些外部數(shù)據(jù)源，外部數(shù)據(jù)源包括企業(yè)應用程序、外部數(shù)據(jù)庫、執(zhí)行日志和其它數(shù)據(jù)源。中間數(shù)據(jù)結果來自Hadoop的執(zhí)行過程，它們被Hadoop的實時應用程序使用，并交付給其他應用程序和終端用戶。

圖1-2： Hadoop企業(yè)級應用

可以使用不同的機制將源數(shù)據(jù)轉移到Hadoop，包括：Sqoop，F(xiàn)lume，直接安裝HDFS作為一個網(wǎng)絡文件系統(tǒng)（NFS），或者利用Hadoop的實時服務和應用程序。在HDFS中，新的數(shù)據(jù)不會覆蓋現(xiàn)有數(shù)據(jù)，而是新建一個數(shù)據(jù)版本。這一點很重要，因為HDFS是一個“寫一次”的文件系統(tǒng)。

對于數(shù)據(jù)處理層，Oozie預處理源數(shù)據(jù)，并將其轉換為中間數(shù)據(jù)。不同于源數(shù)據(jù)，中間數(shù)據(jù)會被覆蓋，沒有多個版本，所以中間數(shù)據(jù)量不會很大。

對于實時訪問層，Hadoop的實時應用程序既支持直接數(shù)據(jù)訪問，也支持基于數(shù)據(jù)集的訪問。這些應用程序讀取基于Hadoop的中間數(shù)據(jù)，并將源數(shù)據(jù)存儲在Hadoop。該應用程序也可以用于服務用戶，或者用于其它企業(yè)的Hadoop集成。

源數(shù)據(jù)用來存儲和初步處理數(shù)據(jù)，中間數(shù)據(jù)用于傳遞和整合數(shù)據(jù)。因為采用了源數(shù)據(jù)和中間數(shù)據(jù)完全分離的結構，所以允許開發(fā)人員在沒有任何事務處理需求的情況下，構建任何虛擬和復雜的應用程序。通過中間預處理過程，明顯減少了服務數(shù)據(jù)量，使得實時數(shù)據(jù)訪問更加靈活。

HADOOP擴充性

雖然許多文章認為，對于開發(fā)人員來講，Hadoop隱藏了底層的復雜性。但是，其實是這些文章沒有充分認識到Hadoop的可擴展。

通過設計Hadoop的實現(xiàn)方式，可以使開發(fā)人員輕松、無縫地集成新的功能到Hadoop中執(zhí)行。Hadoop明確指定一些類庫來負責MapReduce執(zhí)行的不同階段。通過這種方式，滿足了開發(fā)者執(zhí)行特定問題的要求，從而確保每一個作業(yè)以最低成本、最高性能性能來執(zhí)行。

可以自定義Hadoop執(zhí)行的以下內容：

• 自定義Hadoop并行執(zhí)行問題的方式，包括被分割的方式和執(zhí)行的位置

• 支持新的輸入數(shù)據(jù)類型和數(shù)據(jù)定位

• 支持新的輸出數(shù)據(jù)類型

• 自定義輸出數(shù)據(jù)的位置

本書有一部分內容，在他人工作成果的基礎上，對自定義方法，以及實現(xiàn)方式進行了專門的描述。

本書涵蓋了Hadoop企業(yè)級應用的所有主要層，如圖1-2所示。

第2章介紹了構建數(shù)據(jù)層的方法，包括HDFS和HBase（架構和API）。然后，對兩者進行對比分析，以及如何將HDFS和HBase相結合。本章還介紹了Avro（Hadoop的新的序列化框架），以及它在存儲或訪問數(shù)據(jù)中的作用。最后，你將了解HCatalog，以及用它來做廣告和訪問數(shù)據(jù)的方式。

本書將對數(shù)據(jù)處理進行了大量的描述。對于應用程序的數(shù)據(jù)處理部分，筆者建議使用MapReduce和Oozie。

在本書中，為什么以MapReduce源碼為核心？

你可能會問，為什么本書將重點放在MapReduce源碼上，而不是可以讓MapReduce編程變得更簡單的高級語言上面。你可以在網(wǎng)上或者Hadoop社區(qū)內，找到很多關于這方面的討論。在這些討論中給出的解釋是，MapReduce源碼量（就代碼行數(shù)而言）比提供相同的功能的Pig源碼量通常要多很多。盡管這是一個不爭的事實，不過還有一些其他因素：

• 并不是什么都可以描述為一種高級語言。有些任務，更適合使用傳統(tǒng)的Java代碼來執(zhí)行。

• 如果你寫的代碼僅需要執(zhí)行一次，那么代碼的行數(shù)可能對你很重要。但是，如果你正在編寫企業(yè)級應用，那么你應該考慮其他標準，包括性能、可靠性和安全性。通常情況下，MapReduce源碼提供了更多的途徑，從而更容易實現(xiàn)這些特質。

• MapReduce通過自定義方式，為用戶提供的更多功能，以進一步提高應用程序的性能、可靠性和安全性。

在第3章中，您將了解MapReduce的架構、主要構成和編程模型。本章介紹了MapReduce的應用程序設計、設計模式和MapReduce注意事項。本章還講介紹MapReduce的執(zhí)行是如何實現(xiàn)的。正如所提到的，MapReduce最強的特征之一是它可以自定義執(zhí)行。第4章會介紹自定義選項的詳細信息，并舉例說明。第5章通過演示實例，對MapReduce進一步討論，構建可靠的MapReduce應用。

盡管MapReduce功能很強大，但是對于一個切實可行的解決方案，通常需要將多個MapReduce應用集合到在一起。這個過程非常復雜，通過使用Hadoop的Workflow/Coordinator（工作流/協(xié)調員）引擎，可以被大大簡化MapReduce應用的集成。

Oozie的價值

Oozie是Hadoop中最容易被低估的組件。很少有人（甚至沒有）在Hadoop書籍討論這個極其重要的組件。本書不但彰顯了Oozie什么可以做，而且還提供了一個端到端的例子，用來展示如何利用Oozie功能來解決實際問題。類似于Hadoop的其余部分，Oozie的功能也具有很好的擴展性。開發(fā)者可以通過不同的方法來擴展Oozie的功能。

在Hadoop中，最容易被低估的挑戰(zhàn)是：將Hadoop執(zhí)行與企業(yè)處理的其余部分進行整合。使用Oozie來協(xié)調MapReduce應用，并通過公開Oozie API的方式公開了Hadoop進程。通過這種方式，你會很容易就找到更好的集成方法，對Hadoop處理和企業(yè)處理部分進行集成。

第6章描述了Oozie是什么，Oozie的體系結構、主要組成、編程語言和執(zhí)行模型。為了更好地解釋每個Oozie組件的功能和角色，第7章通過使用Oozie應用解決端到端的實際問題。第8章中，通過展示Oozie的一些高級功能，對Oozie進一步描述。這些高級功能包括自定義Workflow活動、動態(tài)生成Workflow和支持超級JAR文件（一個包含了所有的包及其依賴關系的JAR文件）。

第9章主要講解實時訪問層。該章首先介紹了一個工業(yè)中實時Hadoop應用實例，然后針對實現(xiàn)方式提出了整體架構。接著，介紹了建立這種實現(xiàn)的三種主要方法——基于HBase的應用程序、實時查詢以及基于流的處理。本章介紹了總體架構，并提供了基于HBase實時應用的兩個例子。然后，描述了一個實時查詢體系結構，并討論了兩個具體的實現(xiàn)——Apache Drill 和 Cloudera’s Impala。還介紹了實時查詢和MapReduce的對比。最后，您將了解基于Hadoop的復雜事件處理，以及兩個具體的實現(xiàn)——Strom和HFlame。

開發(fā)企業(yè)級應用需要大量的規(guī)劃，以及信息安全方面的策略。第10章將重點講解Hadoop的安全模型。

隨著云計算的發(fā)展，許多企業(yè)嘗試將他們的Hadoop運行在云上。第11章的重點是，通過使用EMR實現(xiàn)，在亞馬遜的云上運行Hadoop應用；并且介紹了其它AWS服務（如S3），用來補充Hadoop的功能。本章還介紹了，通過使用不同的方法來運行云上的Hadoop，并討論了最佳實踐方案。

除了Hadoop自身的安全問題外，通常Hadoop還需要集成其他企業(yè)的組件，來實現(xiàn)數(shù)據(jù)的導入和導出。第12章將重點介紹，如何才能維護好那些使用了Hadoop的企業(yè)級應用，并提供了示例和最佳安全實踐，來確保所有Hadoop企業(yè)級應用的安全運行。

1.6 總結

本章高度概括了大數(shù)據(jù)和Hadoop之間的關系。并介紹了大數(shù)據(jù)及其價值，還介紹了企業(yè)面臨的大數(shù)據(jù)挑戰(zhàn)，包括數(shù)據(jù)存儲和處理的挑戰(zhàn)。通過本章，你還了解了Hadoop及其歷史。

通過本章，你了解了Hadoop特點，并知道了為什么Hadoop如此適合大數(shù)據(jù)處理。本章還概述了Hadoop的主要組件，并介紹了一些例子，用來展示Hadoop如何簡化數(shù)據(jù)科學，簡化創(chuàng)建企業(yè)應用程序的過程。

本章介紹了關于Hadoop發(fā)行版本的基礎知識，以及為什么許多企業(yè)傾向于選擇特定供應商的發(fā)行版。因為他們不希望處理Apache項目中的兼容問題，或者他們需要供應商的技術支持。

最后，本章討論了一種分層的方法和模型，用于開發(fā)基于Hadoop的企業(yè)級應用。

第2章開始將深入講解Hadoop的細節(jié)，以及如何存儲你的數(shù)據(jù)。