Qualité des données et des adresses du SDK Big Data

Extraction des données de référence et configuration du service acushare en mode silencieux

Vous pouvez désormais extraire et installer les données de référence du module Universal Addressing également via un script en mode silencieux silentInstalldb_unc.sh. Le script accepte des arguments une seule fois et extrait les bases de données sur votre ordinateur en dehors d’un processus interactif.
Remarque : Vous pouvez toujours utiliser l’utilitaire interactif et le script sh installdb_unc.sh, si nécessaire.

La configuration du service acushare n'a pas non plus besoin de processus interactif. Après avoir copié le script de configuration, vous fournissez le chemin d'accès pour l'installation du service dans le fichier installer.properties. Le service est installé et démarre automatiquement après l’installation.

Remarque : Les mises à jour du module Big Data Quality (BDQ) seront publiées en octobre 2017.

Données de référence du module Universal Addressing sur les nœuds HDFS

Les données de référence des jobs du module Universal Addressing (à l’exception de Validate Address Loqate) peuvent désormais également être placées sur HDFS et accessibles dans les jobs MR et Spark et les fonctions définies par l'utilisateur.

Note: Les mises à jour du module Big Data Quality (BDQ) seront publiées en octobre 2017.

Jobs Open Parser

Spectrum™ Data and Address Quality for Big Data prend désormais également en charge les jobs Open Parser. Vous pouvez utiliser le job pour analyser les chaînes de données d'entrée selon la grammaire d'analyse.

Pour des informations plus détaillées sur l’utilisation du job, reportez-vous à la section Open Parser des jobs du module Data Normalization.

Remarque : Les mises à jour du module Big Data Quality (BDQ) seront publiées en octobre 2017.

Prise en charge de S3 native filesystem

Le client Amazon S3 native filesystem (s3n) est désormais disponible dans les jobs Hadoop MapReduce et Spark. Vous pouvez stocker et accéder à vos fichiers d'entrée et de sortie sur s3n. Vous devez fournir le chemin d’accès sous un format spécifié comme paramètre pour la classe secondaire filepath et l’utiliser pour votre job.

Remarque : Les mises à jour du module Big Data Quality (BDQ) seront publiées séparément.