Table Lookup MapReduce ジョブの使用
-
DataNormalizationFactory
のインスタンスを、その静的メソッドgetInstance()
を使用して作成します。 -
Table Lookup ジョブの入力と出力の詳細を指定します。以下の手順に従って、
TableLookupDetail
を指定するProcessType
のインスタンスを作成することによって、これを行います。このインスタンスは、MRProcessType タイプを使用する必要があります。-
TableLookupConfiguration
のインスタンスを作成することによって、Table Lookup ルールを設定します。このインスタンス内に、AbstractTableLookupRule
タイプのインスタンスを追加します。このAbstractTableLookupRule
インスタンスは、必要な Table Lookup ルール カテゴリに応じてStandardize
,Categorize
またはIdentify
のいずれかのクラスを用いて定義する必要があります。 -
ReferenceDataPath
のインスタンスを作成することによって、リファレンス データ パスと場所のタイプの詳細を設定します。列挙 ReferenceDataPathLocation を参照してください。 -
TableLookupDetail
のインスタンスを作成します。JobConfig
タイプのインスタンスと、上で作成したTableLookupConfiguration
とReferenceDataPath
のインスタンスを、コンストラクタの引数として渡します。JobConfig
パラメータは、MRJobConfig タイプのインスタンスである必要があります。 -
inputPath
インスタンスのTableLookupDetail
フィールドを使用して、入力ファイルの詳細を設定します。- テキスト入力ファイルの場合は、適切なコンストラクタを呼び出して、関連する詳細な入力ファイル情報を指定して
FilePath
のインスタンスを作成します。 - ORC 入力ファイルの場合、ORC 入力ファイルのパスを引数に指定して
OrcFilePath
のインスタンスを作成します。 - PARQUET 入力ファイルの場合、PARQUET 入力ファイルのパスを引数に指定して ParquetFilePath のインスタンスを作成します。
- テキスト入力ファイルの場合は、適切なコンストラクタを呼び出して、関連する詳細な入力ファイル情報を指定して
-
TableLookupDetail
インスタンスのoutputPath
フィールドを使用して、出力ファイルの詳細を設定します。- テキスト出力ファイルの場合は、適切なコンストラクタを呼び出して、関連する詳細な出力ファイル情報を指定して
FilePath
のインスタンスを作成します。 - ORC 出力ファイルの場合、ORC 出力ファイルのパスを引数に指定して
OrcFilePath
のインスタンスを作成します。 - PARQUET 出力ファイルの場合、PARQUET 出力ファイルのパスを引数に指定して ParquetFilePath のインスタンスを作成します。
- テキスト出力ファイルの場合は、適切なコンストラクタを呼び出して、関連する詳細な出力ファイル情報を指定して
-
jobName
インスタンスのTableLookupDetail
フィールドを使用して、ジョブの名前を設定します。 -
TableLookupDetail
インスタンスのcompressOutput
フラグを true に設定して、ジョブの出力を圧縮します。
-
-
MapReduce ジョブを作成するには、先ほど作成した
DataNormalizationFactory
のインスタンスを使用してそのメソッドcreateJob()
を呼び出します。ここで、上のTableLookupDetail
のインスタンスを引数として渡します。createJob()
メソッドは、List
のインスタンスのControlledJob
を返します。 -
JobControl
のインスタンスを使用して、作成したジョブを実行します。 -
MapReduce ジョブの正常実行後にレポート カウンタを表示するには、先ほど作成した
DataNormalizationFactory
のインスタンスを使用して、そのメソッドgetCounters()
を呼び出します。作成したジョブを引数として渡します。