Big Data Integration モジュール

新しいアクティビティ

Hadoop MapReduce ジョブの実行

Run Hadoop MapReduce Job アクティビティは、Hadoop クラスタ上で MapReduce ジョブを実行します。Spectrum™ Big Data Quality SDK を使用する MapReduce ジョブ、または任意の外部 MapReduce ジョブが実行できます。

Submit Spark Job

Submit Spark Job アクティビティは、Spectrum™ Big Data Quality SDK を使用する Spark ジョブ、または任意の外部 Spark ジョブを実行します。

Spark ジョブのドライバは、Hadoop クラスタ上または Spark クラスタ上で実行することができます。Spark ジョブを、クラスタ ホストまたはクライアント システム上で実行する場合は、YARN または Spark が使用できます。

Spark Sorter

新しい Spark Sorter アクティビティは、Apache Spark ライブラリを使用して、大量のレコードをソートします。

新しい Knox Gateway データ ソース

Management Console を使用して、Knox 認証済み Hadoop サービスに接続を追加できるようになりました。Knox Gateway 接続が作成されると、その接続を使用して、関連付けられた Hadoop クラスタ上のデータに Knox ゲートウェイ経由でアクセスできます。