Groovy スクリプト MapReduce ジョブの使用

  1. 静的メソッド getInstance() を使用して、DataIntegrationFactory のインスタンスを作成します。
  2. Groovy スクリプト ジョブの入力と出力の詳細を指定します。以下の手順に従って、ProcessType を指定する CustomGroovyScriptDetail のインスタンスを作成することによって、これを行います。このインスタンスは、MRProcessType タイプを使用する必要があります。CustomGroovyScriptDetail インスタンスを作成および設定するには、次の手順を実行します。
    1. ProcessType に MRProcessType を指定して、CustomGroovyScriptDetail のインスタンスを作成します。このインスタンスに次の詳細を設定します。
      • 入力ファイル: inputPath フィールドを使用
        注:
        • テキスト入力ファイルの場合は、適切なコンストラクタを呼び出して、関連する詳細な入力ファイル情報を指定してFilePath のインスタンスを作成します。
        • ORC 入力ファイルの場合、ORC 入力ファイルのパスを引数に指定して OrcFilePath のインスタンスを作成します。
        • PARQUET 入力ファイルの場合、PARQUET 入力ファイルのパスを引数に指定して ParquetFilePath のインスタンスを作成します。
      • 出力ファイル: outputPath フィールドを使用
        注:
        • テキスト出力ファイルの場合は、適切なコンストラクタを呼び出して、関連する詳細な出力ファイル情報を指定してFilePath のインスタンスを作成します。
        • ORC 出力ファイルの場合、ORC 出力ファイルのパスを引数に指定して OrcFilePath のインスタンスを作成します。

        • PARQUET 出力ファイルの場合、PARQUET 出力ファイルのパスを引数に指定して ParquetFilePath のインスタンスを作成します。

      • ジョブの名前: jobName フィールドを使用
      • 日付パターン: M/d/yy
      • 日時パターン: M/d/yy h:mm a
      • 時刻パターン: h:mm a
    2. CustomGroovyScriptConfiguration のインスタンスを作成し、次の詳細を設定します。
      • The groovyScriptFile
      • InputFields
      • OutputFields
    3. getScriptTransformerConfiguration() メソッドを使用して configuration を作成します。このメソッドは、上で作成および設定した CustomGroovyScriptConfiguration のインスタンスのリストを呼び出します。
  3. MapReduce ジョブを作成するには、先ほど作成した DataIntegrationFactory のインスタンスを使用してそのメソッド createJob() を呼び出します。ここで、上の CustomGroovyScriptDetail のインスタンスを引数として渡します。
    createJob() メソッドはジョブを作成し、List インスタンスの ControlledJob を返します。
  4. JobControl のインスタンスを使用して、作成したジョブを実行します。