設定ファイル
これらの表には、Interflow Match ジョブを実行する前に指定する必要があるパラメータと値が記載されています。
パラメータ | 説明 |
---|---|
pb.bdq.input.type | 入力ファイルの種類。値は TEXT、ORC、PARQUET のいずれかです。 |
Suspect File | |
pb.bdq.match.suspect.inputfile.path | サスペクト入力ファイルを HDFS 上に置いたパス。例: /user/hduser/sampledata/intermatch/input/Interflow_Suspect.txt |
pb.bdq.match.suspect.recordseparator | サスペクト ファイル内で使用されるレコード区切り文字。例えば、LINUX、MACINTOSH、またはWINDOWS |
pb.bdq.match.suspect.fieldseparator | カンマ (,) またはタブなど、入力ファイルで使用されるフィールドまたは列の区切り文字。 |
pb.bdq.match.suspect.textqualifier | 入力ファイルの列またはフィールドのテキスト修飾子 (存在する場合)。 |
pb.bdq.match.suspect.header | サスペクト ファイルで使用されるヘッダー。例: name、firstname、lastname、matchkey、middlename、recordid |
pb.bdq.match.suspect.skip.firstrow | 最初の行をスキップするかどうか。値は True または False です。True はスキップを示します。 |
Candidate File | |
pb.bdq.match.candidate.inputfile.path | 候補入力ファイルを HDFS 上に配置したパス。例: /user/hduser/sampledata/intermatch/input/Interflow_candidate.txt |
pb.bdq.match.candidate.recordseparator | 候補ファイル内で使用されるレコード区切り文字。例えば、LINUX、MACINTOSH、またはWINDOWS |
pb.bdq.match.candidate.fieldseparator | カンマ (,) またはタブなど、入力ファイルで使用されるフィールドまたは列の区切り文字。 |
pb.bdq.match.candidate.textqualifier | 入力ファイルの列またはフィールドのテキスト修飾子 (存在する場合)。 |
pb.bdq.match.candidate.header | 候補ファイルで使用されるヘッダー。例: name、firstname、lastname、matchkey、middlename、recordid |
pb.bdq.match.candidate.skip.firstrow | 最初の行をスキップするかどうか。値は True または False です。True はスキップを示します。 |
パラメータ | 説明 |
---|---|
pb.bdq.job.type | これは、ジョブを定義する定数値です。このジョブの値は、InterMatch です。 |
pb.bdq.job.name | ジョブの名前。デフォルトは InterMatchSample です。 |
pb.bdq.match.rule | マッチ ルールを定義する Json 文字列。マッチ ルール階層、マッチング方法、フィールド内のブランク データをスコアリングする方法、スコアリング方法、フィールド名の値が一致するかどうかを判断するアルゴリズムなどの詳細を指定します。 |
pb.bdq.match.groupby | マッチ キューのレコードをグループ化するために使用される列の名前。 |
pb.bdq.reduce.count | 実行されるリデューサーの数。デフォルトは 1 です。 |
pb.bdq.match.express.column | Express マッチ列の名前。この列の内容がサスペクトと候補の間で合致する場合、サスペクトと候補が重複しているかどうかを判断するための処理は必要ありません。 |
pb.bdq.match.keygenerator.json | expressMatchKey を使用するかどうか、matchKeyField の名前、使用するアルゴリズムなど、Match Key Generator のルールを定義する Json 文字列。 注: これはオプションの詳細です。 |
pb.bdq.match.unique.collectnumber.zero | 値が true のときユニーク レコードにコレクション番号 0 を割り当てます。 |
pb.bdq.match.inter.comparison | Inter match の比較オプション。
注: これはオプションの詳細です。 |
MapReduce 設定パラメータを指定します。 |
---|
ジョブでの必要性に応じて、mapreduce.map.memory.mb、mapreduce.reduce.memory.mb、mapreduce.map.speculative などの MapReduce パラメータをカスタマイズします。 注: このファイルは MapReduce ジョブでのみ使用します。 |
パラメータ | 説明 |
---|---|
pb.bdq.output.type | 出力が TEXT、ORC、または PARQUET 形式の場合に指定します。 |
pb.bdq.outputfile.path | HDFS で出力を生成するパス。例えば、/user/hduser/sampledata/intermatch/output。 |
pb.bdq.outputformat.field.delimiter | カンマ (,) またはタブなどの出力ファイルのフィールドまたは列の区切り文字。 |
pb.bdq.output.overwrite | 値が true のとき、出力フォルダはジョブが実行されるたびに上書きされます。 |
pb.bdq.outputformat.headerfile.create | 出力ファイルにヘッダーが必要な場合は、true を指定します。 |
pb.bdq.job.print.counters.console | カウンタをコンソールまたはファイルに出力するかどうか。Trueは、コンソールにカウンタを出力することをます。 |
pb.bdq.job.counter.file.path | カウンタが出力されるパスとファイルの名前。pb.bdq.job.print.counters.console の値が false の場合は、これを指定する必要があります。 |
Parquet ファイルのプロパティ | |
parquet.compression | ページの圧縮に使用する圧縮アルゴリズム。UNCOMPRESSED、SNAPPY、GZIP、LZO のいずれかを指定します。 デフォルトは UNCOMPRESSED です。 |
parquet.block.size | メモリにバッファリングされる行グループのサイズ。 値を大きくするほど読み込み時の I/O が向上しますが、書き込み時のメモリ消費が大きくなります。 デフォルトのサイズは 134217728 バイト (= 128 * 1024 * 1024) です。 |
parquet.page.size | ページはブロックを構成し、単一レコードにアクセスするために完全に読み込む必要がある最小単位です。 デフォルトのサイズは 1048576 バイト (= 1 * 1024 * 1024) です。 注: ページ サイズが小さすぎると、圧縮に支障が生じます。 |
parquet.dictionary.page.size | デフォルトのサイズは 1048576 バイト (= 1 * 1024 * 1024) です。 |
parquet.enable.dictionary | 辞書エンコーディングの有効または無効を指定する boolean 値 (True または False)。デフォルトは True です。 |
parquet.validation | デフォルトの boolean 値は False です。 |
parquet.writer.version | Writer のバージョンを指定します。PARQUET_1_0 または PARQUET_2_0 を指定する必要があります。デフォルトは PARQUET_1_0 です。 |
parquet.writer.max-padding | デフォルト設定は、パディングなし、行グループ サイズの 0% です。 |
parquet.page.size.check.estimate | デフォルトの boolean 値は True です。 |
parquet.page.size.row.check.min | デフォルト値は 100 です。 |
parquet.page.size.row.check.max | デフォルト値は 10000 です。 |