Utilisation d'un job Advanced Transformer MapReduce
-
Créez une instance de
DataNormalizationFactory
à l'aide de sa méthode statiquegetInstance()
. -
Fournissez les détails d'entrée et de sortie du job Advanced Transformer en créant une instance de
AdvancedTransformerDetail
définissantProcessType
. L’instance doit utiliser le type MRProcessType.-
Configurez les règles Advanced Transformer en créant une instance de
AdvancedTransformerConfiguration
. Dans cette instance :Ajoutez une instance de typeAbstractAdvancedTransformerRules
. Cette instanceAbstractAdvancedTransformerRules
doit être définie à l’aide de l'une des classes suivantes :TableDataExtraction
ouRegularExpressionExtraction
, correspondant à la catégorie de règle Advanced Transformer de votre choix. -
Définissez les détails du type d'emplacement et du chemin d'accès des données de référence en créant une instance de
ReferenceDataPath
. Reportez-vous à la section Énumération ReferenceDataPathLocation. -
Créez une instance de
AdvancedTransformerDetail
en transmettant une instance de typeJobConfig
et les instancesAdvancedTransformerConfiguration
etReferenceDataPath
créées précédemment comme arguments à son constructeur.Le paramètreJobConfig
doit être une instance de type MRJobConfig. -
Définissez les détails du fichier d'entrée à l'aide du champ
inputPath
de l'instanceAdvancedTransformerDetail
.Pour un fichier d'entrée texte, créez une instance deFilePath
avec les détails pertinents du fichier d'entrée en appelant le constructeur approprié. Pour un fichier d'entrée ORC, créez une instance deOrcFilePath
avec le chemin d’accès au fichier d'entrée ORC comme argument. -
Définissez les détails du fichier de sortie à l'aide du champ
outputPath
de l'instanceAdvancedTransformerDetail
.Pour un fichier de sortie texte, créez une instance deFilePath
avec les détails pertinents du fichier de sortie en appelant le constructeur approprié. Pour un fichier de sortie ORC, créez une instance deOrcFilePath
avec le chemin d’accès au fichier de sortie ORC comme argument. -
Définissez le nom du job à l'aide du champ
jobName
de l'instanceAdvancedTransformerDetail
.
-
Configurez les règles Advanced Transformer en créant une instance de
-
Pour créer un job MapReduce, utilisez l'instance de
DataNormalizationFactory
précédemment créée pour appeler sa méthodecreateJob()
. Dans ce cas, transmettez l'instance ci-dessus deAdvancedTransformerDetail
comme argument.La méthodecreateJob()
renvoie uneList
d'instances deControlledJob
. -
Exécutez le job créé à l’aide d’une instance de
JobControl
. -
Pour afficher les compteurs de reporting suite à l'exécution correcte d'un job MapReduce, utilisez l'instance précédemment créée
DataNormalizationFactory
pour appeler sa méthodegetCounters()
, en transmettant le job créé comme argument.