Data and Address Quality for Big Data SDK
リファレンス データの抽出と acushare サービスのセットアップのサイレント実行
Universal Addressing モジュールのリファレンス データの抽出とインストールが、サイレント スクリプト
silentInstalldb_unc.sh によって実行できるようになりました。このスクリプトは引数を一度に受け取り、インタラクティブ プロセスを行わずにデータベースをマシン上に展開します。注: 必要な場合は、インタラクティブ ユーティリティと
sh installdb_unc.sh を使用することも可能です。acushare サービスのセットアップにも、インタラクティブな処理は必要ありません。セットアップ スクリプトをコピーした後に、installer.properties ファイル内でサービス インストール パスを指定します。サービスがインストールされ、インストール後に自動的に起動します。
注: Big Data Quality (BDQ) モジュールのアップデートは 2017 年 10 月にリリースされます。
Universal Addressing モジュールのリファレンス データを HDFS ノード上に配置
Universal Addressing モジュールのジョブ (Validate Address Loqate を除く) の参照データを、HDFS に配置し、MR ジョブ、Spark ジョブ、およびユーザ定義関数でアクセスできるようになりました。
Note: Big Data Quality (BDQ) モジュールのアップデートは 2017 年 10 月にリリースされます。
Open Parser ジョブ
Spectrum™ のビッグデータ向けデータおよび住所品質モジュールで、Open Parser ジョブもサポートされるようになりました。このジョブを使用して、パーシング グラマーの定義に従い入力データ文字列をパースできます。
ジョブの使用については、Data Normalization モジュールのジョブの Open Parser に関するセクションを参照してください。
注: Big Data Quality (BDQ) モジュールのアップデートは 2017 年 10 月にリリースされます。
S3 ネイティブ ファイル システムのサポート
Amazon S3 ネイティブ ファイル システム (s3n) クライアントを Hadoop MapReduce および Spark ジョブで利用できるようになりました。入力および出力ファイルを s3n に保存してアクセスできます。FilePath サブクラスへのパラメータとして指定された形式でパスを指定し、ジョブで使用する必要があります。
注: Big Data Quality (BDQ) モジュールのアップデートは別途リリースされます。