Transactional Match Spark ジョブの使用
-
AdvanceMatchFactory
のインスタンスを、その静的メソッドgetInstance()
を使用して作成します。 -
Transactional Match ジョブの入力と出力の詳細を指定します。以下の手順に従って、
TransactionalMatchDetail
を指定するProcessType
のインスタンスを作成することによって、これを行います。このインスタンスは、SparkProcessType タイプを使用する必要があります。-
GroupbyOption
のインスタンスを作成することによって、レコードのグループ化に使用する列を指定します。GroupbySparkOption のインスタンスを使用して、Group-By 列を指定します。 -
MatchRule
のインスタンスを作成することによって、ジョブのマッチング ルールを生成します。 -
TransactionalMatchDetail
のインスタンスを作成します。JobConfig
タイプのインスタンスと、上で作成したGroupbyOption
インスタンスおよびMatchRule
インスタンスを、コンストラクタの引数として渡します。JobConfig
パラメータは、SparkJobConfig タイプのインスタンスである必要があります。 -
inputPath
インスタンスのTransactionalMatchDetail
フィールドを使用して、入力ファイルの詳細を設定します。- テキスト入力ファイルの場合は、適切なコンストラクタを呼び出して、関連する詳細な入力ファイル情報を指定して
FilePath
のインスタンスを作成します。 - ORC 入力ファイルの場合、ORC 入力ファイルのパスを引数に指定して
OrcFilePath
のインスタンスを作成します。 - PARQUET 入力ファイルの場合、PARQUET 入力ファイルのパスを引数に指定して ParquetFilePath のインスタンスを作成します。
- テキスト入力ファイルの場合は、適切なコンストラクタを呼び出して、関連する詳細な入力ファイル情報を指定して
-
TransactionalMatchDetail
インスタンスのoutputPath
フィールドを使用して、出力ファイルの詳細を設定します。- テキスト出力ファイルの場合は、適切なコンストラクタを呼び出して、関連する詳細な出力ファイル情報を指定して
FilePath
のインスタンスを作成します。 - ORC 出力ファイルの場合、ORC 出力ファイルのパスを引数に指定して
OrcFilePath
のインスタンスを作成します。 - PARQUET 出力ファイルの場合、PARQUET 出力ファイルのパスを引数に指定して ParquetFilePath のインスタンスを作成します。
- テキスト出力ファイルの場合は、適切なコンストラクタを呼び出して、関連する詳細な出力ファイル情報を指定して
-
jobName
インスタンスのTransactionalMatchDetail
フィールドを使用して、ジョブの名前を設定します。 -
ユニークな候補レコードを出力に返す場合は、
returnUniqueCandidates
インスタンスのTransactionalMatchDetail
フラグに true を設定します。デフォルトは true です。 -
TransactionalMatchDetail
インスタンスのcompressOutput
フラグを true に設定して、ジョブの出力を圧縮します。 -
入力データにマッチ キーがない場合は、マッチ キー設定を指定して、Transactional Match ジョブを実行する前にまず、Match Key Generator ジョブを実行してマッチ キーを生成する必要があります。
入力データのマッチ キーを生成するには、
MatchKeySettings
のインスタンスを作成および設定することによってマッチ キー設定を指定し、Transactional マッチングを実行する前にマッチ キーを生成します。matchKeySettings
インスタンスのTransactionalMatchDetail
フィールドを使用して、このインスタンスを設定します。注: マッチ キー設定方法については、コード サンプルを参照してください。
-
-
Spark ジョブを作成して実行するには、先ほど作成した
AdvanceMatchFactory
のインスタンスを使用してそのメソッドrunSparkJob()
を呼び出します。ここで、上のTransactionalMatchDetail
のインスタンスを引数として渡します。runSparkJob()
メソッドはジョブを実行し、ジョブのレポート カウンタのMap
を返します。 - カウンタを表示することにより、ジョブに対する統計レポートを表示します。