Spectrum™ Data & Address Quality for Big Data SDK がコンピュータ上にインストールされていることを確認します。
Spectrum™ Data & Address Quality for Big Data SDK ジョブは、モジュール固有の JAR ファイルと XML 形式の設定ファイルを使用して実行できます。
モジュール固有の JAR ファイルの一覧については、SDK Java API のコンポーネントを参照してください。
-
Linux システムの場合は、コマンド プロンプトを起動します。
Windows および Unix システムの場合は、Putty などの SSH クライアントを起動します。
-
MapReduce ジョブの場合は、コマンド
hadoop
を使用します。
実行するジョブによって、次の操作を行います。
- そのモジュールの JAR ファイル名を引き渡します。
- ドライバ クラス名
RunMRSampleJob
を引き渡します。
- 各種設定ファイルを引数リストとして渡します。各引数キーに、1 つの設定プロパティ ファイルのパスが指定できます。各ファイルには、複数の設定プロパティが含まれます。
コマンドの構文は次のとおりです。
hadoop jar <Name of module JAR
file> RunMRSampleJob [-config <Path to configuration file>] [-debug]
[-input <Path to input configuration file>] [-conf <Path to
MapReduce configuration file>] [-output <Path of output
directory>]
例えば、MapReduce MatchKeyGenerator ジョブの場合は次のようになります。
hadoop jar amm.core.12.2.jar RunMRSampleJob -config
/home/hadoop/matchkey/mkgConfig.xml -input
/home/hadoop/matchkey/inputFileConfig.xml -conf
/home/hadoop/matchkey/mapReduceConfig.xml -output
/home/hadoop/matchkey/outputFileConfig.xml
-
Spark ジョブの場合は、コマンド
spark-submit
を使用します。
実行するジョブによって、次の操作を行います。
- そのモジュールの JAR ファイル名を引き渡します。
- ドライバ クラス名
RunSparkSampleJob
を引き渡します。
- 各種設定ファイルを引数リストとして渡します。各引数キーに、1 つの設定プロパティ ファイルのパスが指定できます。各ファイルには、複数の設定プロパティが含まれます。
コマンドの構文は次のとおりです。
spark-submit –-class
RunSparkSampleJob <Name of module JAR file> [-config <Path to
configuration file>] [-debug] [-input <Path to input configuration
file>] [-conf <Path to Spark configuration file>] [-output <Path
of output directory>]
例えば、Spark MatchKeyGenerator ジョブの場合は次のようになります。
spark-submit --class RunSparkSampleJob
amm.core.12.2.jar -config
/home/hadoop/spark/matchkey/matchKeyGeneratorConfig.xml -input
/home/hadoop/spark/matchkey/inputFileConfig.xml -output
/home/hadoop/spark/matchkey/outputFileConfig.xml
注: hadoop
または
spark-submit
コマンドでサポートされる引数キーの一覧を表示するには、次のコマンドを実行します。
hadoop --help
または
spark-submit --help