Apache Software Foundation が Watershed Big Data リリースの一般提供を発表
最新のオープンソースバージョンの アパッチ・ハドゥープ、象徴的な並列分散ビッグデータ テクノロジーがついに導入の準備が整いました。
このバージョンの Hadoop には、次の機能が追加されています。 糸 (MapReduce 2.0 または MRv2 と呼ばれることもあります) をエンジンに接続します。 YARN は、Hadoop 1.0 の管理コンポーネントを取り除いた「さらに別のリソース ネゴシエーター」を意味する、典型的に愚かなオープン ソースの頭字語です。 MapReduce MapReduce 処理アルゴリズム自体のエンジン。 MapReduce アルゴリズムはまだ存在しますが、事実上 YARN へのプラグインとなり、置き換えることができます。 他の処理アルゴリズム (バッチ モードを使用するのではなく、対話的に実行されるアルゴリズムを含む) 手術。
Hadoop のいくつかの主要なディストリビューション: Apache Hadoop (CDH) を含む Cloudera のディストリビューション すでに YARN が含まれていましたが、実際には Apache Software Foundation がプレリリース コードとみなしたものを使用していました。 ただし、YARN と Hadoop 2.0 はプレリリースではなくなりました。
アルン C. マーシー、Apache Hadoop 2.0 のリリース マネージャーであり、 ホートンワークスは次のように述べています。「Hadoop 2 は、情熱と情熱を持った人々が共同で構築したオープンソース プロジェクトの大きな進化を示しています。 データの使いやすさと安定性を向上させることに尽力する、Apache コミュニティの専任の開発者とコミッター プラットホーム。"
ちょうど昨日、 アパッチハイブ プロジェクトは、Hadoop 2.0 との完全な互換性を実現するための新しいバージョン (0.12.0) もリリースしました。 Hadoop 内のデータに対する SQL クエリを可能にする Hive は、現在 MapReduce アルゴリズムに基づいています。 しかし、Hadoop 2.0 が完全にリリースされたので、対応する製品リリースを探してください。
アパッチ・テズ （孵化中）とホートンワークスの スティンガー・イニシアチブ (Murthy もリーダーシップを発揮しているプロジェクト)。Hive を拡張して、Hadoop データの直接 SQL クエリに YARN を使用し、MapReduce アルゴリズムを完全にバイパスします。そうではありません 全て YARNについてですが。 Hadoop 2.0 には次の機能もあります。
- Apache Hadoop HDFS (Hadoop 分散ファイル システム) の高可用性
- Apache Hadoop 1.x と比較して大幅な規模の Apache Hadoop HDFS のフェデレーション。
- Apache Hadoop 1.x 用に構築された既存の Apache Hadoop MapReduce アプリケーションのバイナリ互換性。
- Microsoft Windowsのサポート。
- Apache Hadoop HDFS 内のデータのスナップショット。
- Apache Hadoop HDFS の NFS-v3 アクセス。
それは悪い兆候ではありません。 正直なところ、今日はビッグデータの世界にとって非常にエキサイティングな日です。Hadoop がより多くのデータに変化するからです。 汎用のビッグデータ オペレーティング プラットフォームであり、プログラミングが必要な厳格なツールではありません 直接。
そして、MapReduce さん、外出中にドアにお尻をぶつけないでください。