Hortonworks は、データ処理プラットフォームで実行できる分析の種類の範囲を拡大することを約束する、次世代の Apache Hadoop のプレビュー ディストリビューションをリリースしました。
「Hadoop 2.0は真に根本的なアーキテクチャの変更であり、Hadoopを単なるバッチプラットフォームから大きく進化させるものです」と、Hortonworksの創設者であり、Hadoop開発の中核エンジニアの一人であるアルン・マーシー氏は述べています。このアップデートは「全く新しいイノベーションの波を巻き起こすでしょう」と彼は述べています。
Apacheソフトウェア財団Hortonworks Data Platform 2.0 Community Preview には、Hadoop 環境用の新しいコンポーネントがいくつか含まれていますが、最も注目すべきは Hadoop の MapReduce ジョブ スケジューラの後継である YARN (Yet Another Resource Negotiator) です。
ムルシー氏によると、Hadoopは当初「単一アプリケーション・プラットフォーム」として開発され、主にWebコンテンツのクロールとインデックス作成を目的としていました。現在、多くの組織はHadoopをインタラクティブなクエリやリアルタイムデータストリームの分析といった他の用途にも活用しようとしています。
YARNは、Hadoopプラットフォームで実行できるジョブの種類を拡張することでMapReduceを改良しました。MapReduceは、実質的にバッチ処理ジョブ、つまり任意の数のノード間でデータ分析を実行し、完了時に結果を返すジョブしか管理できませんでした。
対照的に、YARNは汎用的なリソース管理フレームワークです。ライブデータストリームに対して無期限に実行されるジョブや、ユーザーがリアルタイムでデータに問い合わせるインタラクティブクエリを含むジョブなど、非バッチ処理ジョブを実行するための基盤を提供します。「YARNでは、バッチMapReduceジョブとインタラクティブSQLクエリの両方を並行して実行できるようになりました」とMurthy氏は述べています。
YARNを使用すると、「様々な種類のワークロードとリソースニーズをすべて認識するクラスターが構築されるため、それらすべてが共存できます。1つのワークロードがクラスターのすべてのリソースを占有したり、占有したりすることはありません」と、Hortonworksのコーポレートストラテジー担当バイスプレジデントであるShaun Connolly氏は述べています。以前は、組織は異なるスタイルのジョブを実行するために別々のクラスターを実行する必要がありました。
HDP 2.0 には、大規模なインタラクティブ ジョブを高速化する YARN のアドオンである Apache Tez や、Hadoop リポジトリに対して SQL クエリを実行する機能を提供するテクノロジのコレクションである Stinger など、他の多くの新しいコンポーネントも含まれています。
完全な Hadoop ディストリビューションである HDP 2.0 のこのプレビューは、Oracle VirtualBox または VMware 仮想環境のいずれかで実行されます。
Hortonworksは、今週カリフォルニア州サンノゼで開催される2013 Hadoop SummitでHDP 2.0を発表しました。また、同カンファレンスでRackspaceは、Pentahoの分析ツールと連携したHadoopをサービスとして提供すると発表しました。Splunkは、Hadoopリポジトリを探索するための新ツール「Hunk」をリリースしました。データウェアハウスシステムプロバイダーのTeradataは、新しいHadoopアプライアンスを発表しました。そして、VMwareは仮想化管理ソフトウェアvSphereをアップデートし、Hadoopクラスタをサポートしました。
