Validate Address Loqate Spark ジョブの使用

  1. LoqateAddressingFactory のインスタンスを、その静的メソッド getInstance() を使用して作成します。
  2. LoqateAddressingDetail を指定する ProcessType のインスタンスを作成して、Validate Address Loqate ジョブの入力と出力の詳細を指定します。このインスタンスは、SparkProcessType タイプを使用する必要があります。これを行うには、次の手順に従います。
    1. LoqateAddressingGeneralConfiguration のインスタンスを作成することによって、JVM の初期化を設定します。
      列挙体 列挙 ExhaustedAction を使用します。
    2. LoqateAddressingEngineConfiguration のインスタンスを作成して必要なデータベース設定を行い、各種フィールドを設定します。
    3. LoqateAddressingValidateConfiguration のインスタンスを作成して、住所検証の設定を行います。
      このインスタンスの各種フィールドの値を設定するには、列挙体 列挙 AcceptanceLevel、列挙 CountryCodes、列挙 OutputCasing、列挙 CountryFormat、および 列挙 ScriptAlphabet を使用します。
    4. ReferenceDataPath のインスタンスを作成することによって、リファレンス データ パスの詳細を設定します。列挙 ReferenceDataPathLocation を参照してください。
    5. LoqateAddressingDetail のインスタンスを作成します。JobConfig タイプのインスタンス、LocalReferenceDataPath インスタンス、および先ほど作成した LoqateAddressingValidateConfiguration インスタンスを引数としてコンストラクタに渡します。
      JobConfig パラメータは、SparkJobConfig タイプのインスタンスである必要があります。
      1. inputPath インスタンスの LoqateAddressingDetail フィールドを使用して、入力ファイルの詳細を設定します。
        注:
        • テキスト入力ファイルの場合は、適切なコンストラクタを呼び出して、関連する詳細な入力ファイル情報を指定してFilePath のインスタンスを作成します。
        • ORC 入力ファイルの場合、ORC 入力ファイルのパスを引数に指定して OrcFilePath のインスタンスを作成します。
        • PARQUET 入力ファイルの場合、PARQUET 入力ファイルのパスを引数に指定して ParquetFilePath のインスタンスを作成します。
      2. LoqateAddressingDetail インスタンスの outputPath フィールドを使用して、出力ファイルの詳細を設定します。
        注:
        • テキスト出力ファイルの場合は、適切なコンストラクタを呼び出して、関連する詳細な出力ファイル情報を指定してFilePath のインスタンスを作成します。
        • ORC 出力ファイルの場合、ORC 出力ファイルのパスを引数に指定して OrcFilePath のインスタンスを作成します。

        • PARQUET 出力ファイルの場合、PARQUET 出力ファイルのパスを引数に指定して ParquetFilePath のインスタンスを作成します。

      3. jobName インスタンスの LoqateAddressingDetail フィールドを使用して、ジョブの名前を設定します。
  3. Spark ジョブを作成して実行するには、先ほど作成した LoqateAddressingFactory のインスタンスを使用してそのメソッド runSparkJob() を呼び出します。ここで、上の LoqateAddressingDetail のインスタンスを引数として渡します。
    runSparkJob() メソッドはジョブを実行し、ジョブのレポート カウンタの Map を返します。
  4. カウンタを表示することにより、ジョブに対する統計レポートを表示します。