Types de flux

Un dataflow constitue une série d'opérations qui prennent des données d'une source, les traitent, puis écrivent la sortie vers une destination. Le traitement des données peut aller d'un simple tri à des actions d'enrichissement et de qualité des données plus complexes. Le concept de dataflow en lui-même est simple, mais vous pouvez concevoir des dataflows très complexes avec des chemins d'accès à embranchements, différentes sources d'entrée et diverses destinations de sortie.

Il existe quatre types de dataflows : jobs, services, sous-flux et processflow.

Job

Un job est un dataflow effectuent du traitement de lots. Un job lit les données d'un(e) ou plusieurs fichiers ou bases de données, traite ces données et écrit les résultats dans un(e) ou plusieurs fichiers ou bases de données. Les jobs peuvent être exécutés de manière manuelle dans Enterprise Designer ou à partir de la ligne de commande via l'exécuteur de job.

Le dataflow suivant est un job. Notez bien qu'il utilise le stage Read from File pour l'entrée et deux stages Write to File pour la sortie.



Service

Un service est un dataflow auquel vous pouvez accéder sous forme de services Web ou via l'API Spectrum™ Technology Platform. Vous transmettez un enregistrement au service et vous avez la possibilité de définir des options à utiliser lors du traitement de l'enregistrement. Le service traite les données et les renvoie.

Certains services deviennent disponibles dès lors que vous installez un module. Par exemple, quand vous installez le module Universal Addressing Module, le service ValidateAddress devient disponible sur votre système. Dans d'autres cas, vous devez créer un service dans Enterprise Designer, puis exposer ce service sur votre système comme service défini par l'utilisateur. Par exemple, les stages du module Location Intelligence ne sont pas disponibles en tant que services à moins que vous ne créiez d'abord un service qui utilise les stages de ce module.

Vous pouvez également concevoir vos propres services personnalisés dans Enterprise Designer. Par exemple, le dataflow suivant détermine si une adresse présente un risque d'inondation :



Remarque : Les noms du service, de l'option et du champ sont destinés à devenir des éléments XML, ils ne peuvent pas contenir de caractères considérés comme des éléments XML invalides (par exemple, les espaces sont interdits). Les services qui ne répondent pas à ces exigences fonctionneront toujours, mais ils ne seront pas exposés en tant que services Web.

Sous-flux

Un sous-flux est un dataflow qui peut être réutilisé par d'autres dataflows. Les sous-flux s'avèrent utiles quand vous souhaitez créer un processus réutilisable, facile à intégrer à des dataflows. Par exemple, vous pouvez souhaiter créer un sous-flux qui effectue une déduplication en utilisant certains paramètres de chaque stage, pour pouvoir utiliser le même processus de déduplication dans différents dataflows. Pour ce faire, vous pouvez créer un sous-flux comme suit :

Vous pouvez ensuite utiliser ce sous-flux dans un dataflow. Par exemple, vous pouvez utiliser le sous-flux de déduplication dans un dataflow qui effectue un géocodage de sorte que les données soient dédupliquées avant l'opération de géocodage :

Dans cet exemple, les données d'une base de données sont lues, puis transmises au sous-flux de déduplication, où elles sont traitées par Match Key Generator, Intraflow Match, puis Best of Breed. Ensuite, pour finir, elles quittent le sous-flux et sont transmises au stage suivant du dataflow parent, dans ce cas, Geocode US Address. Les sous-flux sont représentés par une icône morceau de puzzle, comme illustré ci-dessus.

Les sous-flux enregistrés et exposés s'affichent dans le dossier Stages définis par l'utilisateur d'Enterprise Designer.

Process flow

Un processflow exécute une série d'activités, comme des jobs et des applications externes. Chaque activité du flux de processus s'exécute à la fin de l’activité précédente. Les processflow s'avèrent utiles si vous souhaitez exécuter plusieurs flux de données en séquence ou un programme externe. Par exemple, un processflow peut exécuter un job de pour normaliser des noms, valider des adresses, puis utiliser une application externe pour trier les enregistrements dans le bon ordre pour l'obtention de réductions sur les tarifs postaux. Un tel processflow ressemble à ceci :

Dans cet exemple, les jobs Standardize Names et Validate Addresses sont des jobs exposés sur le serveur Spectrum™ Technology Platform. Exécuter le programme appelle une application externe, et une activité Réussi indique la fin du processflow.