Validate Address Global MapReduce ジョブの使用
-
GlobalAddressingFactory
のインスタンスを、その静的メソッドgetInstance()
を使用して作成します。 -
ProcessType
を指定するGlobalAddressingDetail
のインスタンスを作成して、Validate Address Global ジョブの入力と出力の詳細を指定します。このインスタンスは、MRProcessType タイプを使用する必要があります。これを行うには、次の手順に従います。-
GlobalAddressingGeneralConfiguration
のインスタンスを作成することによって、JVM の初期化を設定します。 -
ReferenceDataPath
のインスタンスを作成することによって、リファレンス データ パスの詳細を設定します。列挙 ReferenceDataPathLocation を参照してください。 -
必要なデータベース設定を指定します。これには、前述の
ReferenceDataPath
インスタンスを引数として渡して、GlobalAddressingEngineConfiguration
のインスタンスを作成します。- 列挙体 列挙 PreloadingType を使用してこのインスタンスのプリロード タイプを設定します。
- 列挙 DatabaseType 使用してデータベース タイプを設定します。
- 列挙 CountryCodes を使用してサポートされる国を設定します。
- すべての国をサポートする場合は、
isAllCountries
属性を true に設定します。そうでない場合は、列挙 CountryCodes の値をコンマで区切ったリストでsupportedCountries
文字列値に指定します。
-
GlobalAddressingInputConfiguration
のインスタンスを作成することによって、入力を設定します。このインスタンスの各種フィールドの値を設定するには、列挙体 列挙 CountryCodes、列挙 StateProvinceType、列挙 CountryType、列挙 PreferredScript、列挙 PreferredLanguage、列挙 Casing、列挙 OptimizationLevel、列挙 Mode、および 列挙 MatchingScope の該当するものを使用します。 -
データにアンロック キーを
List
のString
値として設定します。 -
GlobalAddressingDetail
のインスタンスを作成します。Config
タイプのインスタンスと、先ほど作成したアンロック コード値のList
、GlobalAddressingEngineConfiguration
インスタンス、およびGlobalAddressingInputConfiguration
インスタンスを引数としてコンストラクタに渡します。Config
パラメータは、MRJobConfig タイプのインスタンスである必要があります。このパラメータの
GROUPBY_REGION
の値は、デフォルトでtrue
に設定されます。このジョブは、追加したリファレンス データに従って、このリージョンの住所を処理します。例えば、ドイツのリファレンス データが HDFS に配置されている場合は、ドイツの入力住所が処理されます。- JVM 初期化構成を設定します。
GlobalAddressingDetail
インスタンスのgeneralConfiguration
フィールドを上で作成したGlobalAddressingGeneralConfiguration
インスタンスに設定します。 inputPath
インスタンスのGlobalAddressingDetail
フィールドを使用して、入力ファイルの詳細を設定します。注:- テキスト入力ファイルの場合は、適切なコンストラクタを呼び出して、関連する詳細な入力ファイル情報を指定して
FilePath
のインスタンスを作成します。 - ORC 入力ファイルの場合、ORC 入力ファイルのパスを引数に指定して
OrcFilePath
のインスタンスを作成します。 - PARQUET 入力ファイルの場合、PARQUET 入力ファイルのパスを引数に指定して ParquetFilePath のインスタンスを作成します。
- テキスト入力ファイルの場合は、適切なコンストラクタを呼び出して、関連する詳細な入力ファイル情報を指定して
GlobalAddressingDetail
インスタンスのoutputPath
フィールドを使用して、出力ファイルの詳細を設定します。注:- テキスト出力ファイルの場合は、適切なコンストラクタを呼び出して、関連する詳細な出力ファイル情報を指定して
FilePath
のインスタンスを作成します。 - ORC 出力ファイルの場合、ORC 出力ファイルのパスを引数に指定して
OrcFilePath
のインスタンスを作成します。 -
PARQUET 出力ファイルの場合、PARQUET 出力ファイルのパスを引数に指定して ParquetFilePath のインスタンスを作成します。
- テキスト出力ファイルの場合は、適切なコンストラクタを呼び出して、関連する詳細な出力ファイル情報を指定して
jobName
インスタンスのGlobalAddressingDetail
フィールドを使用して、ジョブの名前を設定します。
- JVM 初期化構成を設定します。
-
-
MapReduce ジョブを作成するには、先ほど作成した
GlobalAddressingFactory
のインスタンスを使用してそのメソッドcreateJob()
を呼び出します。ここで、上のGlobalAddressingDetail
のインスタンスを引数として渡します。createJob()
メソッドは、List
のインスタンスのControlledJob
を返します。 -
JobControl
のインスタンスを使用して、作成したジョブを実行します。 -
MapReduce ジョブの正常実行後にレポート カウンタを表示するには、先ほど作成した
GlobalAddressingFactory
のインスタンスを使用して、そのメソッドgetCounters()
を呼び出します。作成したジョブを引数として渡します。