Match Key Generator MapReduce ジョブの使用

  1. AdvanceMatchFactory のインスタンスを、その静的メソッド getInstance() を使用して作成します。
  2. Match Key Generator ジョブの入力と出力の詳細を指定します。以下の手順に従って、MatchKeyGeneratorDetail を指定する ProcessType のインスタンスを作成することによって、これを行います。このインスタンスは、MRProcessType タイプを使用する必要があります。
    1. MatchKeySettings のインスタンスを作成および設定することによって、マッチングを実行するためのマッチ キー設定を指定します。詳細については、関連するコード サンプルを参照してください。
    2. MatchKeyGeneratorDetail のインスタンスを作成します。JobConfig タイプのインスタンスと、上で作成した MatchKeySettings インスタンスを、コンストラクタの引数として渡します。
      JobConfig パラメータは、MRJobConfig タイプのインスタンスである必要があります。
    3. inputPath インスタンスの MatchKeyGeneratorDetail フィールドを使用して、入力ファイルの詳細を設定します。
      • テキスト入力ファイルの場合は、適切なコンストラクタを呼び出して、関連する詳細な入力ファイル情報を指定してFilePath のインスタンスを作成します。
      • ORC 入力ファイルの場合、ORC 入力ファイルのパスを引数に指定して OrcFilePath のインスタンスを作成します。
      • PARQUET 入力ファイルの場合、PARQUET 入力ファイルのパスを引数に指定して ParquetFilePath のインスタンスを作成します。
    4. MatchKeyGeneratorDetail インスタンスの outputPath フィールドを使用して、出力ファイルの詳細を設定します。
      • テキスト出力ファイルの場合は、適切なコンストラクタを呼び出して、関連する詳細な出力ファイル情報を指定してFilePath のインスタンスを作成します。
      • ORC 出力ファイルの場合、ORC 出力ファイルのパスを引数に指定して OrcFilePath のインスタンスを作成します。
      • PARQUET 出力ファイルの場合、PARQUET 出力ファイルのパスを引数に指定して ParquetFilePath のインスタンスを作成します。
    5. jobName インスタンスの MatchKeyGeneratorDetail フィールドを使用して、ジョブの名前を設定します。
  3. MapReduce ジョブを作成するには、先ほど作成した AdvanceMatchFactory のインスタンスを使用してそのメソッド createJob() を呼び出します。ここで、上の MatchKeyGeneratorDetail のインスタンスを引数として渡します。
    createJob() メソッドはジョブを作成し、List インスタンスの ControlledJob を返します。
  4. JobControl のインスタンスを使用して、作成したジョブを実行します。