Automatisation ETL et ELT par l’IA : de quoi s’agit-il et que faut-il évaluer
Un guide pratique de l’ETL et de l’ELT assistés par l’IA : ce qui peut être automatisé, ce qui nécessite encore une vérification humaine et les questions à poser pour évaluer les outils.
L’ETL et l’ELT en un paragraphe
L’ETL (extraction, transformation, chargement) déplace les données depuis les systèmes sources, les restructure puis les charge dans une cible comme un entrepôt de données. L’ELT charge d’abord les données brutes et les transforme dans la cible. Les deux produisent des données propres et cohérentes sur lesquelles l’analytique et l’apprentissage automatique peuvent s’appuyer.
ETL ou ELT
| Aspect | ETL | ELT |
|---|---|---|
| Où s’exécute la transformation | Dans une étape de traitement distincte avant le chargement | Dans la plateforme cible après le chargement |
| Usage type | Nettoyage ou masquage stricts avant que les données n’arrivent dans la cible | Cibles dotées d’un traitement puissant dans la plateforme et devant conserver les données brutes |
| Points à prendre en compte | Capacité de la couche de traitement | Gouvernance des données brutes stockées dans la cible |
Là où l’IA peut aider
- Découvrir quelles données existent dans les bases de données, fichiers et API.
- Profiler les colonnes et suggérer clés, jointures et relations.
- Ébaucher des pipelines et transformations qu’une personne peut vérifier.
- Suggérer des règles de qualité des données d’après l’allure des données.
Ce qui nécessite encore des personnes
- Décider quelles sont les règles métier. Un outil peut suggérer que deux colonnes correspondent, mais seul le métier sait si elles signifient la même chose.
- Approuver les pipelines générés avant leur exécution en production.
- Définir les exigences d’accès, de conservation et de masquage pour les données sensibles.
- Analyser les échecs et les valeurs inattendues.
Liste de contrôle d’évaluation
- Chaque étape générée est visible, modifiable et peut être rejetée.
- Les sources et cibles de votre environnement sont validées, dans les versions que vous utilisez.
- Les règles de qualité des données sont explicites et leurs résultats sont enregistrés.
- La planification, la surveillance et la gestion des échecs font partie du produit.
- Vous savez où la plateforme s’exécute et où les données sont traitées.
L’approche de DAXORA Studio
DAXORA Studio propose des pipelines ETL/ELT sur un canevas visuel, que les ingénieurs vérifient et approuvent, valide la qualité des données avant leur utilisation et construit des modèles prédictifs dans le même espace de travail. Voir la page Studio pour plus de détails.
Pages associées
Découvrez DAXORA Studio, Insight et Forge avec votre propre cas d’usage
Dites-nous où se trouvent vos données et quelles décisions vous devez soutenir. Nous vous montrerons comment les plateformes s’appliquent.