設定ファイル
これらの表には、Validate Address ジョブを実行する前に指定する必要があるパラメータと値が記載されています。
| パラメータ | 説明 |
|---|---|
| pb.bdq.input.type | 入力ファイルの種類。値は TEXT、ORC、PARQUET のいずれかです。 |
| pb.bdq.inputfile.path | 入力ファイルを HDFS 上に置いたパス。例: /home/hadoop/uamus.txt |
| textinputformat.record.delimiter | テキスト タイプの入力ファイルで使用されるファイル レコード区切り文字。例えば、LINUX、MACINTOSH、またはWINDOWS |
| pb.bdq.inputformat.field.delimiter | カンマ (,) またはタブなど、入力ファイルで使用されるフィールドまたは列の区切り文字。 |
| pb.bdq.inputformat.text.qualifier | 入力ファイルの列またはフィールドのテキスト修飾子 (存在する場合)。 |
| pb.bdq.inputformat.file.header | 入力ファイルで使用されるヘッダーのカンマ区切りの値。 |
| pb.bdq.inputformat.skip.firstrow | 最初の行をスキップするかどうか。値は True または False です。True はスキップを示します。 |
| パラメータ | 説明 |
|---|---|
| pb.bdq.job.type | これは、ジョブを定義する定数値です。このジョブの値は、UniversalAddressingValidate です。 |
| pb.bdq.job.name | ジョブの名前。デフォルトは UAMUniversalAddressingSample です。 |
| pb.bdq.reference.data | リファレンス データを配置している場所のパス。例: {"dataDir":"/home/hduser/ReferenceData/AddressQuality/UAM-US","referenceDataPathLocation":"LocaltoDataNodes"} |
| pb.bdq.uam.universaladdress.input.configuration | プロセス タイプ、出力住所の要素、レポート リストの数など、入力設定を定義する JSON 文字列。 |
| pb.bdq.uam.universaladdress.general.configuration | ファイル タイプ、メモリ モデル、SuiteLink メモリ モデルなど、全般的な設定を定義する JSON 文字列。 |
| pb.bdq.uam.universaladdress.cobol.runtime | COBOL 実行時ディレクトリ パス。例: /home/hduser/PBSpectrum_BigDataSDK/SDK/runtime |
| pb.bdq.uam.universaladdress.modules.dir | モジュール ディレクトリのあるパス。例: /home/hduser/PBSpectrum_BigDataSDK/SDK/modules |
| pb.bdq.uam.universaladdress.dpv.db.path | Delivery Point Validation (DPV) データベースのあるパス。例: /home/hduser/ReferenceData/ AddressQuality/UAM/Data 注: このパラメータはオプションです。 |
| pb.bdq.uam.universaladdress.ews.db.path | 早期警告システム (EWS) データベースのパス。例: /home/hduser/ReferenceData/ AddressQuality/UAM/Data 注: このパラメータはオプションです。 |
| pb.bdq.uam.universaladdress.lacs.db.path | Locatable Address Conversion System (LACS) データベースのあるパス。例: /home/hduser/ReferenceData/ AddressQuality/UAM/Data 注: このパラメータはオプションです。 |
| pb.bdq.uam.universaladdress.rdi.db.path | Residential Delivery Indicator (RDI) データベースのあるパス。例: /home/hduser/ReferenceData/ AddressQuality/UAM/Data 注: このパラメータはオプションです。 |
| pb.bdq.uam.universaladdress.suitelink.db.path | SuiteLink データベース パス。例: /home/hduser/ReferenceData/ AddressQuality/UAM/Data 注: このパラメータはオプションです。 |
| pb.bdq.job.report.create | 正常に完了したときにレポートを生成する場合は true を指定します。 |
| パラメータ | 説明 |
|---|---|
| pb.bdq.job.type | これは、ジョブを定義する定数値です。このジョブの値は、UniversalAddressingValidate です。 |
| pb.bdq.job.name | ジョブの名前。デフォルトは UAMUniversalAddressingSample です。 |
| pb.bdq.reference.data | HDFS 上にあるリファレンス データのパスとデータ ダウンローダのパス。例: {"referenceDataPathLocation":"HDFS","dataDir":"/user/root/ReferenceData/UAM-US","dataDownloader":{"dataDownloader":"HDFS","localFSRepository":"/opt/PitneyBowes/ReferenceData/UAM-US"}} |
| pb.bdq.uam.universaladdress.input.configuration | プロセス タイプ、出力住所の要素、レポート リストの数など、入力設定を定義する JSON 文字列。 |
| pb.bdq.uam.universaladdress.general.configuration | ファイル タイプ、メモリ モデル、SuiteLink メモリ モデルなど、全般的な設定を定義する JSON 文字列。 |
| pb.bdq.uam.universaladdress.cobol.runtime | COBOL 実行時ディレクトリ パス。例: /home/hduser/PBSpectrum_BigDataSDK/SDK/runtime |
| pb.bdq.uam.universaladdress.modules.dir | モジュール ディレクトリのあるパス。例: /home/hduser/PBSpectrum_BigDataSDK/SDK/modules |
| pb.bdq.uam.universaladdress.dpv.db.path | Delivery Point Validation (DPV) データベースのあるパス。例: hdfs:///user/hduser/ReferenceData/ AddressQuality/UAM/Data.zip 注: このパラメータはオプションです。 |
| pb.bdq.uam.universaladdress.ews.db.path | 早期警告システム (EWS) データベースのパス。例: hdfs:///user/hduser/ReferenceData/ AddressQuality/UAM/Data.zip 注: このパラメータはオプションです。 |
| pb.bdq.uam.universaladdress.lacs.db.path | Locatable Address Conversion System (LACS) データベースのあるパス。例: hdfs:///user/hduser/ReferenceData/ AddressQuality/UAM/Data.zip 注: このパラメータはオプションです。 |
| pb.bdq.uam.universaladdress.rdi.db.path | Residential Delivery Indicator (RDI) データベースのあるパス。例: hdfs:///user/hduser/ReferenceData/ AddressQuality/UAM/RDI.zip 注: このパラメータはオプションです。 |
| pb.bdq.uam.universaladdress.suitelink.db.path | SuiteLink データベース パス。例: hdfs:///user/hduser/ReferenceData/ AddressQuality/UAM/Data.zip 注: このパラメータはオプションです。 |
| pb.bdq.job.report.create | 正常に完了したときにレポートを生成する場合は true を指定します。 |
| パラメータ | 説明 |
|---|---|
| pb.bdq.job.type | これは、ジョブを定義する定数値です。このジョブの値は、UniversalAddressingValidate です。 |
| pb.bdq.job.name | ジョブの名前。デフォルトは UAMUniversalAddressingSample です。 |
| pb.bdq.reference.data | HDFS 上にあるリファレンス データのパスとデータ ダウンローダのタイプ。例: {"dataDir":"/user/hduser/ReferenceData/AddressQuality/UAM","referenceDataPathLocation":"HDFS","dataDownloader":{"dataDownloader":"DC"}} |
| pb.bdq.uam.universaladdress.input.configuration | プロセス タイプ、出力住所の要素、レポート リストの数など、入力設定を定義する JSON 文字列。 |
| pb.bdq.uam.universaladdress.general.configuration | ファイル タイプ、メモリ モデル、SuiteLink メモリ モデルなど、全般的な設定を定義する JSON 文字列。 |
| pb.bdq.uam.universaladdress.acushare.license | Acushare ライセンス ファイルを置いたパス。例: /home/hduser/runcbl.alc |
| pb.bdq.uam.universaladdress.acushare.service | 値が true の場合、Acushare サービスが実行中であることを示します。 |
| pb.bdq.uam.universaladdress.unix.version | クラスタ ノードの Unix バージョンを指定します。例: REDHAT7。 |
| pb.bdq.uam.universaladdress.cobol.runtime | COBOL 実行時ディレクトリ パス。例: /home/hduser/PBSpectrum_BigDataSDK/SDK/runtime |
| pb.bdq.uam.universaladdress.modules.dir | モジュール ディレクトリのあるパス。例: /home/hduser/PBSpectrum_BigDataSDK/SDK/modules |
| pb.bdq.uam.universaladdress.dpv.db.path | Delivery Point Validation (DPV) データベースのあるパス。例: /home/hduser/ReferenceData/ AddressQuality/UAM/Data 注: このパラメータはオプションです。 |
| pb.bdq.uam.universaladdress.ews.db.path | 早期警告システム (EWS) データベースのパス。例: /home/hduser/ReferenceData/ AddressQuality/UAM/Data 注: このパラメータはオプションです。 |
| pb.bdq.uam.universaladdress.lacs.db.path | Locatable Address Conversion System (LACS) データベースのあるパス。例: /home/hduser/ReferenceData/ AddressQuality/UAM/Data 注: このパラメータはオプションです。 |
| pb.bdq.uam.universaladdress.rdi.db.path | Residential Delivery Indicator (RDI) データベースのあるパス。例: /home/hduser/ReferenceData/ AddressQuality/UAM/Data 注: このパラメータはオプションです。 |
| pb.bdq.uam.universaladdress.suitelink.db.path | SuiteLink データベース パス。例: /home/hduser/ReferenceData/ AddressQuality/UAM/Data 注: このパラメータはオプションです。 |
| pb.bdq.job.report.create | 正常に完了したときにレポートを生成する場合は true を指定します。 |
| MapReduce 設定パラメータを指定します。 |
|---|
| ジョブでの必要性に応じて、mapreduce.map.memory.mb、mapreduce.reduce.memory.mb、mapreduce.map.speculative などの MapReduce パラメータをカスタマイズします。 注: このファイルは MapReduce ジョブでのみ使用します。 |
| パラメータ | 説明 |
|---|---|
| pb.bdq.output.type | 出力が TEXT、ORC、または PARQUET 形式の場合に指定します。 |
| pb.bdq.outputfile.path | HDFS で出力ファイルを生成するパス。例: /home/hadoop/output。 |
| pb.bdq.outputformat.field.delimiter | カンマ (,) またはタブなどの出力ファイルのフィールドまたは列の区切り文字。 |
| pb.bdq.output.overwrite | 値が true のとき、出力フォルダはジョブが実行されるたびに上書きされます。 |
| pb.bdq.outputformat.headerfile.create | 出力ファイルにヘッダーが必要な場合は、true を指定します。 |
| pb.bdq.job.print.counters.console | カウンタをコンソールまたはファイルに出力するかどうか。Trueは、コンソールにカウンタを出力することをます。 |
| pb.bdq.job.counter.file.path | カウンタが出力されるパスとファイルの名前。pb.bdq.job.print.counters.console の値が false の場合は、これを指定する必要があります。 |
| Parquet ファイルのプロパティ | |
| parquet.compression | ページの圧縮に使用する圧縮アルゴリズム。UNCOMPRESSED、SNAPPY、GZIP、LZO のいずれかを指定します。 デフォルトは UNCOMPRESSED です。 |
| parquet.block.size | メモリにバッファリングされる行グループのサイズ。 値を大きくするほど読み込み時の I/O が向上しますが、書き込み時のメモリ消費が大きくなります。 デフォルトのサイズは 134217728 バイト (= 128 * 1024 * 1024) です。 |
| parquet.page.size | ページはブロックを構成し、単一レコードにアクセスするために完全に読み込む必要がある最小単位です。 デフォルトのサイズは 1048576 バイト (= 1 * 1024 * 1024) です。 注: ページ サイズが小さすぎると、圧縮に支障が生じます。 |
| parquet.dictionary.page.size | デフォルトのサイズは 1048576 バイト (= 1 * 1024 * 1024) です。 |
| parquet.enable.dictionary | 辞書エンコーディングの有効または無効を指定する boolean 値 (True または False)。デフォルトは True です。 |
| parquet.validation | デフォルトの boolean 値は False です。 |
| parquet.writer.version | Writer のバージョンを指定します。PARQUET_1_0 または PARQUET_2_0 を指定する必要があります。デフォルトは PARQUET_1_0 です。 |
| parquet.writer.max-padding | デフォルト設定は、パディングなし、行グループ サイズの 0% です。 |
| parquet.page.size.check.estimate | デフォルトの boolean 値は True です。 |
| parquet.page.size.row.check.min | デフォルト値は 100 です。 |
| parquet.page.size.row.check.max | デフォルト値は 10000 です。 |