Optimisation de l'écriture vers la base de données

Par défaut, le stage Write to DB valide à chaque fois qu'une rangée est insérée dans la table. Néanmoins, pour améliorer les performances, activez l'option Validation de lot. Lorsque cette option est activée, une validation est effectuée après le nombre d'enregistrements indiqué. En fonction de la base de données, ceci peut améliorer de manière considérable la vitesse d'écriture.

Lorsque vous sélectionnez une taille de lot, prenez en considération les éléments suivants :

• Taux d'arrivée des données au stage Write To DB : si les données arrivent à un taux plus lent que ce que la base de données peut traiter, la modification de la taille de lot ne permettra pas d'améliorer les performances générales du flux de données. Par exemple, les flux de données avec la validation d'adresse ou le géocodage ne peuvent pas bénéficier d'un accroissement de taille.
• Trafic réseau : pour les réseaux lents, l'augmentation de la taille des lots à une taille de lot moyenne (1 000 à 10 000) se traduit par de meilleures performances.
• Vitesse de chargement et/ou de traitement de la base de données : pour les bases de données dotées d'une importante puissance de traitement, l'augmentation de la taille de lot permettra d'améliorer les performances.
• Instances d'exécution multiples : si vous utilisez plusieurs instances d'exécution du stage Write to DB, une taille de lot volumineuse va consommer beaucoup de mémoire ; il est donc préférable d'utiliser une taille de lot petite ou moyenne (100 à 10 000).
• Restauration de base de données : chaque fois qu'une instruction échoue, l'ensemble du lot est restauré. Plus la taille du lot est volumineuse, plus l'opération de restauration est longue.