Big Data Integration モジュール
新しいアクティビティ
Hadoop MapReduce ジョブの実行
Run Hadoop MapReduce Job アクティビティは、Hadoop クラスタ上で MapReduce ジョブを実行します。Spectrum™ Big Data Quality SDK を使用する MapReduce ジョブ、または任意の外部 MapReduce ジョブが実行できます。
Submit Spark Job
Submit Spark Job アクティビティは、Spectrum™ Big Data Quality SDK を使用する Spark ジョブ、または任意の外部 Spark ジョブを実行します。Spark ジョブのドライバは、Hadoop クラスタ上または Spark クラスタ上で実行することができます。Spark ジョブを、クラスタ ホストまたはクライアント システム上で実行する場合は、YARN または Spark が使用できます。
Spark Sorter
新しい Spark Sorter アクティビティは、Apache Spark ライブラリを使用して、大量のレコードをソートします。新しい Knox Gateway データ ソース
Management Console を使用して、Knox 認証済み Hadoop サービスに接続を追加できるようになりました。Knox Gateway 接続が作成されると、その接続を使用して、関連付けられた Hadoop クラスタ上のデータに Knox ゲートウェイ経由でアクセスできます。