Comment créer un dictionnaire de données avec l'IA : un guide gratuit étape par étape
Un dictionnaire de données est le document qui explique la signification réelle de chaque colonne de vos données. Vous pouvez en créer un à partir d'une feuille de calcul en trois étapes : téléverser le fichier, décrire et typer chaque champ, puis réviser et publier le résultat. Ce guide présente ce qu'il doit contenir, comment les équipes les construisent manuellement et comment simplifier la partie fastidieuse.
Qu'est-ce qu'un dictionnaire de données ?
L'U.S. Geological Survey propose la définition la plus claire qui soit. Son guide de gestion des données indique qu'un dictionnaire de données « est utilisé pour cataloguer et communiquer la structure et le contenu des données ». Il « fournit des descriptions significatives pour les objets de données nommés individuellement ».
Deux mots de cette définition sont essentiels. Cataloguer signifie que chaque champ est répertorié, y compris ceux que personne n'utilise. Communiquer signifie qu'il est écrit pour un être humain, et non pour une base de données.
C'est cette seconde partie qui distingue un véritable dictionnaire de données d'une simple capture d'écran d'en-têtes de colonnes. Un en-tête nommé cust_stat_cd n'est pas une documentation. Une ligne qui explique la signification de ces codes, les valeurs autorisées et ce qu'indique une case vide, en est une.
La plupart des équipes en ont déjà besoin sans le savoir. Dès que deux personnes ne s'accordent pas sur ce qu'est un « client actif », le document manquant est un dictionnaire de données.
Ce qu'il doit contenir
L'USGS dresse la liste des contenus types, et celle-ci est suffisamment courte pour servir de liste de contrôle.
| Élément | Ce qu'il enregistre |
|---|---|
| Objets de données | Noms et définitions de chaque champ |
| Propriétés détaillées | Type de données, taille, possibilité de valeur nulle, caractère facultatif, index |
| Diagrammes | Diagrammes entité-association et autres vues au niveau du système |
| Données de référence | Classification et domaines descriptifs |
| Codes de qualité | Données manquantes et codes d'indicateurs de qualité |
| Règles de gestion | Règles de validation d'un schéma ou de la qualité des données |
Tous les projets n'ont pas besoin de ces six éléments. Une simple feuille de calcul partagée entre deux équipes n'a besoin que des deux premiers et du cinquième. Une base de données de production a besoin de tous ces éléments.
La ligne des codes de qualité est celle qui est le plus souvent omise, et on le regrette souvent. Si une cellule vide peut signifier « zéro », « inconnu » ou « non applicable », le fait de le préciser par écrit évite que trois analystes différents n'arrivent à trois totaux différents.
Pourquoi les équipes les créent
L'USGS cite six utilisations, et chacune correspond à un problème concret qu'elle permet d'éviter.
La documentation fournit des détails sur la structure aux utilisateurs, développeurs et autres parties prenantes. La communication offre un vocabulaire commun et aide les développeurs à évaluer l'impact des modifications de schéma.
La conception d'applications aide les développeurs à créer formulaires et rapports avec les types de données et les contrôles appropriés. L'analyse de systèmes permet aux analystes de visualiser la conception globale et de suivre le parcours des données dans chaque processus.
L'intégration de données est l'élément le plus important pour le travail sur tableur. L'USGS note que des définitions claires « fournissent la compréhension contextuelle nécessaire pour décider comment faire correspondre un système de données à un autre ». Cette même compréhension permet de décider « s'il convient de segmenter, fusionner, empiler ou transformer les données pour un usage spécifique ».
La prise de décision complète le tout, en facilitant la planification de la collecte de données et d'autres travaux collaboratifs.
Un argument encore plus percutant se cache sur cette même page. L'USGS fait remarquer qu'un dictionnaire peut révéler des problèmes de crédibilité. Il avertit que « des définitions de données incomplètes peuvent rendre des données par ailleurs excellentes pratiquement inutilisables ».
L'aspect réglementaire est également documenté. Le chapitre du manuel d'enquête de l'USGS sur les métadonnées oblige à ce que les enregistrements comportent des définitions d'entités et d'attributs, ainsi que des contraintes de provenance et d'utilisation.
Comment les équipes créent un dictionnaire manuellement
La méthode manuelle dépend de l'emplacement des données, et les deux approches sont légitimes.
Si elles se trouvent dans une base de données, le système peut générer un premier projet pour vous. L'USGS note que la plupart des systèmes de gestion de bases de données « disposent de dictionnaires de données actifs intégrés et peuvent générer de la documentation au besoin ».
Si elles se trouvent dans une feuille de calcul, il n'y a pas de générateur. L'USGS propose un modèle vierge « pour créer manuellement un "dictionnaire de données" simple dans Excel », ce qui correspond exactement à l'état de l'art actuel.
Cette version manuelle implique une ligne par colonne, remplie par une personne qui connaît les données : nom du champ, définition en langage clair, type, valeurs autorisées, autorisation ou non des cases vides, et propriétaire du champ.
Pour un export de quinze colonnes, cela prend vingt minutes. Pour un fichier opérationnel de soixante colonnes provenant de trois systèmes différents, cela devient une après-midi entière que personne n'a le temps de consacrer.
Là où la méthode manuelle ralentit le processus
Le goulot d'étranglement réside rarement dans la rédaction. C'est de l'archéologie.
La moitié des colonnes d'un export réel ont des noms qui étaient des abréviations dans la tête de quelqu'un il y a cinq ans. Comprendre ce que signifie flag_2 nécessite d'ouvrir les données, de les trier et de déduire la règle à partir des valeurs.
Ensuite, il y a la dérive. L'USGS est catégorique sur les conséquences : « le fait de ne pas maintenir le dictionnaire à jour avec les structures de données réelles suggère un manque de gouvernance des données ». Un dictionnaire rédigé une fois et jamais retouché est pire que pas de dictionnaire du tout, car les gens s'y fient.
Ces deux problèmes sont d'ordre mécanique. Lire chaque colonne, profiler ses valeurs et proposer un type et une définition est une tâche répétitive. Les gens trouvent cela ennuyeux et perdent en cohérence dès la quarantième ligne.
Comment créer un dictionnaire de données avec l'IA
Étape 1 : Téléverser le fichier à documenter
Connectez-vous à Powerdrill Bloom et téléversez l'export. Excel, CSV, PDF et les documents sont pris en charge dans l'offre gratuite.
Téléversez le fichier réel, pas un échantillon tronqué. C'est généralement dans les valeurs atypiques des lignes 900 à 1 100 que se cachent les règles les plus intéressantes.
Étape 2 : Demander un profilage champ par champ en langage naturel
Demandez une ligne par colonne. Chaque ligne doit comporter une définition en langage clair, le type de données apparent, la plage ou les valeurs distinctes, et le nombre de cases vides. Demandez-lui de signaler toute valeur qui ressemble à un code plutôt qu'à une donnée.
Ensuite, penchez-vous sur les cas ambigus. Demandez quelles colonnes semblent avoir une signification codée et ce que représente chaque code. Vous pourrez ensuite confirmer ou corriger ces informations avec une personne qui connaît le système.
Le résultat à ce stade est un brouillon, pas un document final. Son rôle est d'éliminer le travail d'archéologie pour que vous n'ayez plus qu'à apporter votre jugement.
Étape 3 : Corriger les définitions et publier le dictionnaire
Examinez chaque ligne et corrigez celles que seul un humain peut trancher : ce qui est considéré comme actif, pourquoi deux colonnes de dates ne concordent pas, et quels champs font foi. Exportez ensuite le résultat sous forme de feuille de calcul ou de document.
Enregistrez-le à côté des données elles-mêmes. Un dictionnaire qui traîne dans le dossier de téléchargements de quelqu'un n'est pas une documentation, et c'est le moyen le plus rapide de réintroduire la dérive que vous venez de corriger.
Maintenir son utilité après le premier jour
Un dictionnaire de données n'est utile que s'il reste exact, et l'USGS est très direct sur la manière d'y parvenir. Anticipez, ajoutez des éléments au fur et à mesure qu'ils sont identifiés et mettez à jour le dictionnaire lorsque les structures changent.
Trois habitudes font l'essentiel du travail.
Rédigez des définitions pour les personnes externes. Si une nouvelle recrue ne peut pas utiliser la définition sans poser de question complémentaire, c'est qu'elle n'est pas finalisée.
Gérez les versions en même temps que les données. Lorsqu'une colonne est ajoutée ou que son type est modifié, le dictionnaire doit être mis à jour lors de la même étape, et non au trimestre suivant.
Adoptez une norme lorsqu'il en existe une. L'USGS note que l'adoption et la citation d'une norme de données évitent d'avoir à gérer sa propre documentation.
Un dictionnaire s'associe également de manière naturelle avec l'habitude plus large de s'accorder une fois pour toutes sur les chiffres. Notre guide pour créer une source unique de vérité traite du niveau supérieur à celui-ci. Par ailleurs, l'analyse d'une feuille de calcul créée par quelqu'un d'autre aborde la situation qui déclenche généralement ce besoin.
Commencez avec le fichier que vous avez déjà
Vous pouvez réaliser l'ensemble du processus ci-dessus avec l'offre gratuite. Elle comprend le téléversement de fichiers Excel, CSV, PDF et de documents, la génération d'analyses et de résumés, ainsi que la création de diapositives, de documents, de feuilles de calcul et d'images de base.
Deux limites méritent d'être clairement énoncées. L'analyse Excel et la création de documents Office font partie de l'offre Pro. L'offre gratuite comprend une seule tâche planifiée, de sorte qu'un dictionnaire qui se régénère de manière planifiée nécessite un abonnement payant.
Si le fichier sous-jacent a d'abord besoin d'être nettoyé, notre page sur le nettoyage de données par l'IA présente cette étape. Les pages de l'assistant IA pour Excel et de l'assistant IA pour CSV couvrent les deux types de fichiers les plus courants. Pour documenter votre export le plus désordonné dès aujourd'hui, essayez Powerdrill Bloom.
Questions fréquentes
Quelle est la différence entre un dictionnaire de données et des métadonnées ?
Un dictionnaire de données décrit la structure et le contenu de champs individuels. Les métadonnées sont plus larges, couvrant qui a produit les données, pourquoi, et comment elles ont été collectées et traitées.
Puis-je créer un dictionnaire de données dans Excel ?
Oui, et c'est l'approche habituelle pour les données de feuilles de calcul. L'USGS publie un modèle vierge pour créer manuellement un dictionnaire de données simple dans Excel.
Quel doit être le niveau de détail de la définition de chaque champ ?
Suffisamment détaillé pour qu'une personne externe à votre équipe puisse utiliser la colonne sans poser de question. Indiquez les valeurs autorisées et la signification d'une case vide, car ce sont elles qui provoquent la plupart des désaccords.
À qui doit appartenir le dictionnaire de données ?
À la personne responsable de la structure des données, et non à celle qui a demandé le rapport. La responsabilité est essentielle lorsqu'une colonne change, car le dictionnaire doit être modifié lors de la même étape.
À quelle fréquence un dictionnaire de données doit-il être mis à jour ?
Chaque fois que la structure sous-jacente change. L'USGS considère un dictionnaire obsolète comme un problème de gouvernance, car les gens continuent de se fier à des définitions qui ne correspondent plus aux données.