Interflow Match MapReduce ジョブの使用
-
AdvanceMatchFactory
のインスタンスを、その静的メソッドgetInstance()
を使用して作成します。 -
Interflow Match ジョブの入力と出力の詳細を指定します。以下の手順に従って、
InterMatchDetail
を指定するProcessType
のインスタンスを作成することによって、これを行います。このインスタンスは、MRProcessType タイプを使用する必要があります。-
GroupbyOption
のインスタンスを作成することによって、レコードのグループ化に使用する列を指定します。GroupbyMROption のインスタンスを使用して、必要な Group-By 列とリデューサー数を指定します。 -
MatchRule
のインスタンスを作成することによって、ジョブのマッチング ルールを生成します。 -
InterMatchDetail
のインスタンスを作成します。JobConfig
タイプのインスタンスと、上で作成したGroupbyOption
インスタンスおよびMatchRule
インスタンスを、コンストラクタの引数として渡します。JobConfig
パラメータは、MRJobConfig タイプのインスタンスである必要があります。 -
candidateFilePath
インスタンスのInterMatchDetail
フィールドを使用して、候補ファイルの詳細を設定します。テキスト候補ファイルの場合は、適切なコンストラクタを呼び出して、関連する詳細な候補ファイル情報を指定してFilePath
のインスタンスを作成します。ORC 候補ファイルの場合、ORC 候補ファイルのパスを引数に指定してOrcFilePath
のインスタンスを作成します。 -
suspectFilePath
インスタンスのInterMatchDetail
フィールドを使用して、サスペクト ファイルの詳細を設定します。テキスト サスペクト ファイルの場合は、適切なコンストラクタを呼び出して、関連する詳細なサスペクト ファイル情報を指定してFilePath
のインスタンスを作成します。ORC サスペクト ファイルの場合、ORC サスペクト ファイルのパスを引数に指定してOrcFilePath
のインスタンスを作成します。PARQUET サスペクト ファイルの場合、PARQUET サスペクト ファイルのパスを引数に指定して ParquetFilePath のインスタンスを作成します。重要: サスペクト ファイルと候補ファイルは、同じファイル形式である必要があります。テキスト ファイルまたは ORC 形式のファイル。 -
InterMatchDetail
インスタンスのoutputPath
フィールドを使用して、出力ファイルの詳細を設定します。- テキスト出力ファイルの場合は、適切なコンストラクタを呼び出して、関連する詳細な出力ファイル情報を指定して
FilePath
のインスタンスを作成します。 - ORC 出力ファイルの場合、ORC 出力ファイルのパスを引数に指定して
OrcFilePath
のインスタンスを作成します。 - PARQUET 出力ファイルの場合、PARQUET 出力ファイルのパスを引数に指定して ParquetFilePath のインスタンスを作成します。
- テキスト出力ファイルの場合は、適切なコンストラクタを呼び出して、関連する詳細な出力ファイル情報を指定して
-
jobName
インスタンスのInterMatchDetail
フィールドを使用して、ジョブの名前を設定します。 -
必要に応じて、
expressMatchColumn
インスタンスのInterMatchDetail
フィールドを使用して、Express マッチ列を設定します。 -
ユニーク レコードにコレクション番号 0 (ゼロ) を割り当てる場合は、
collectionNumberZerotoUniqueRecords
インスタンスのInterMatchDetail
フラグに true を設定します。デフォルトは true です。ユニーク レコードにコレクション番号 0 を割り当てたくない場合は、このフラグに false を設定します。 -
comparisonOption
インスタンスのInterMatchDetail
フィールドを使用して、比較オプションを設定します。このフィールドで、クラス InterMatchComparisonOption を使用して必要な値を設定することにより、以下の 2 つのオプションのいずれかを選択します。- [Compare the Suspect record to all Candidate records]: ユニーク レコードを出力に返す必要があるかどうかを指定します。
- [Compare the Suspect record to the selected Candidate record only]: 検索して返す重複レコードの最大数を指定します。
-
InterMatchDetail
インスタンスのcompressOutput
フラグを true に設定して、ジョブの出力を圧縮します。 -
入力データにマッチ キーがない場合は、マッチ キー設定を指定して、Interflow Match ジョブを実行する前にまず、Match Key Generator ジョブを実行してマッチ キーを生成する必要があります。
入力データのマッチ キーを生成するには、
MatchKeySettings
のインスタンスを作成および設定することによってマッチ キー設定を指定し、Interflow マッチングを実行する前にマッチ キーを生成します。matchKeySettings
インスタンスのInterMatchDetail
フィールドを使用して、このインスタンスを設定します。注: マッチ キー設定方法については、コード サンプルを参照してください。
-
-
MapReduce ジョブを作成するには、先ほど作成した
AdvanceMatchFactory
のインスタンスを使用してそのメソッドcreateJob()
を呼び出します。ここで、上のInterMatchDetail
のインスタンスを引数として渡します。createJob()
メソッドはジョブを作成し、List
インスタンスのControlledJob
を返します。 -
JobControl
のインスタンスを使用して、作成したジョブを実行します。 -
MapReduce ジョブの正常実行後にレポート カウンタを表示するには、先ほど作成した
AdvanceMatchFactory
のインスタンスを使用して、そのメソッドgetCounters()
を呼び出します。作成したジョブを引数として渡します。