Come creare un dizionario dei dati con l'IA: una guida passo-passo gratuita
Un dizionario dei dati è il documento che spiega cosa significa effettivamente ogni colonna dei tuoi dati. Puoi crearne uno a partire da un foglio di calcolo in tre passaggi: carica il file, ottieni la descrizione e il tipo di ciascun campo, quindi rivedi e pubblica il risultato. Questa guida spiega cosa deve contenere, come i team lo creano manualmente e come abbreviare la parte più noiosa.
Cos'è un dizionario dei dati
L'U.S. Geological Survey fornisce la definizione più chiara disponibile. Le sue linee guida per la gestione dei dati affermano che un dizionario dei dati "viene utilizzato per catalogare e comunicare la struttura e il contenuto dei dati". Inoltre, "fornisce descrizioni significative per oggetti di dati identificati singolarmente".
Due parole in questa definizione hanno un peso cruciale. Catalogare significa che ogni campo viene elencato, compresi quelli che nessuno usa. Comunicare significa che è scritto per un'altra persona, non per un database.
Questa seconda parte è ciò che distingue un vero dizionario dei dati da uno screenshot delle intestazioni di colonna. Un'intestazione chiamata cust_stat_cd non è documentazione. Una riga che spiega cosa significano quei codici, quali valori sono ammessi e cosa indica una cella vuota, invece, lo è.
La maggior parte dei team ne ha già bisogno senza saperlo. Nel momento in cui due persone non sono d'accordo su cosa si intenda per "cliente attivo", il documento mancante è proprio un dizionario dei dati.
Cosa contiene
L'USGS elenca i contenuti tipici, e l'elenco è abbastanza breve da poter essere usato come checklist.
| Elemento | Cosa registra |
|---|---|
| Oggetti di dati | Nomi e definizioni di ogni campo |
| Proprietà dettagliate | Tipo di dati, dimensione, ammissibilità di valori nulli, opzionalità, indici |
| Diagrammi | Relazioni tra entità e altre viste a livello di sistema |
| Dati di riferimento | Classificazione e domini descrittivi |
| Codici di qualità | Dati mancanti e codici indicatori di qualità |
| Regole aziendali | Regole per la convalida di uno schema o della qualità dei dati |
Non tutti i progetti hanno bisogno di tutti e sei gli elementi. Un singolo foglio di calcolo scambiato tra due team ha bisogno dei primi due e del quinto. Un database di produzione ha bisogno di tutti.
La riga relativa ai codici di qualità è quella che viene saltata più spesso e di cui ci si pente maggiormente. Se una cella vuota può significare "zero", "sconosciuto" o "non applicabile", metterlo per iscritto evita che tre analisti diversi arrivino a tre totali differenti.
Perché i team li creano
L'USGS indica sei utilizzi, e ognuno di essi corrisponde a un problema reale che permette di evitare.
La documentazione fornisce dettagli sulla struttura a utenti, sviluppatori e altri stakeholder. La comunicazione offre alle persone un vocabolario comune e aiuta gli sviluppatori a valutare l'impatto delle modifiche allo schema.
La progettazione delle applicazioni aiuta gli sviluppatori a creare moduli e report con i tipi di dati e i controlli corretti. L'analisi dei sistemi consente agli analisti di vedere il design complessivo e tracciare il percorso in cui i dati incontrano ciascun processo.
L'integrazione dei dati è l'aspetto che conta di più per il lavoro con i fogli di calcolo. L'USGS sottolinea che definizioni chiare "forniscono la comprensione contestuale necessaria quando si decide come mappare un sistema di dati su un altro". La stessa comprensione determina "se creare sottoinsiemi, unire, impilare o trasformare i dati per un uso specifico".
Il processo decisionale completa il quadro, supportando la pianificazione della raccolta dati e altre attività collaborative.
C'è un'argomentazione ancora più incisiva nascosta nella stessa pagina. L'USGS osserva che un dizionario può rivelare problemi di credibilità. Avverte che "definizioni di dati incomplete possono rendere virtualmente inutili dati altrimenti eccellenti".
Anche l'aspetto dei requisiti è documentato. Il capitolo del Manuale di indagine dell'USGS sui metadati impone che i record contengano definizioni di entità e attributi, insieme alla provenienza e ai vincoli d'uso.
Come i team ne creano uno manualmente
La via manuale dipende da dove risiedono i dati, ed entrambe le versioni sono legittime.
Se risiedono in un database, il sistema potrebbe generare una prima bozza per te. L'USGS osserva che la maggior parte dei sistemi di gestione di database "dispone di dizionari di dati attivi integrati e può generare documentazione in base alle esigenze".
Se risiedono in un foglio di calcolo, non esiste un generatore. L'USGS rimanda a un modello vuoto "per creare manualmente un semplice 'dizionario dei dati' in Excel", che rappresenta esattamente lo stato dell'arte attuale.
Questa versione manuale prevede una riga per colonna, compilata da una persona che conosce i dati. Nome del campo, definizione in linguaggio semplice, tipo, valori ammessi, se sono consentiti spazi vuoti e chi ne è il proprietario.
Per un'esportazione di quindici colonne ci vogliono venti minuti. Per un file operativo di sessanta colonne estratto da tre sistemi, diventa un pomeriggio di lavoro che nessuno ha a disposizione.
Dove la via manuale rallenta
L'ostacolo raramente è la scrittura. È l'archeologia.
Metà delle colonne in un'esportazione reale ha nomi che erano abbreviazioni nella testa di qualcuno cinque anni fa. Capire cosa significhi flag_2 richiede di aprire i dati, ordinarli e dedurre la regola dai valori.
Poi c'è il disallineamento nel tempo. L'USGS è categorico sulle conseguenze: "la mancata corrispondenza tra l'aggiornamento del dizionario e le strutture dati effettive suggerisce una mancanza di gestione dei dati". Un dizionario scritto una volta e mai più toccato è peggio che non averlo affatto, perché le persone si fidano di esso.
Entrambi i problemi sono di natura meccanica. Leggere ogni colonna, analizzare i suoi valori e proporre un tipo e una definizione è un passaggio ripetitivo. Le persone lo trovano noioso e perdono precisione arrivati alla riga quaranta.
Come creare un dizionario dei dati con l'AI
Passaggio 1: Carica il file che desideri documentare
Accedi a Powerdrill Bloom e carica l'esportazione. I formati Excel, CSV, PDF e i documenti di testo sono inclusi nel piano gratuito.
Carica il file reale, non un campione ridotto. I valori insoliti nelle righe da 900 a 1.100 sono solitamente quelli in cui si nascondono le regole più interessanti.
Passaggio 2: Richiedi un profilo campo per campo in linguaggio naturale
Richiedi una riga per colonna. Ogni riga deve contenere una definizione in linguaggio semplice, il tipo di dati apparente, l'intervallo o i valori distinti e il conteggio delle celle vuote. Chiedi di segnalare qualsiasi valore che sembri un codice piuttosto che un dato reale.
Poi approfondisci gli elementi ambigui. Chiedi quali colonne sembrano contenere un significato codificato e cosa rappresenta ciascun codice. Potrai quindi confermare o correggere tali informazioni con qualcuno che conosce il sistema.
L'output in questa fase è una bozza, non un documento definitivo. Il suo compito è eliminare il lavoro di archeologia, lasciando a te solo il compito di applicare il tuo giudizio.
Passaggio 3: Correggi le definizioni e pubblicalo
Rivedi ogni riga e correggi quelle che solo un essere umano può risolvere. Cosa si intende per attivo, perché due colonne di date non concordano e quali campi sono autorevoli. Quindi esporta il risultato come foglio di calcolo o documento.
Assegnagli una collocazione accanto ai dati stessi. Un dizionario nella cartella dei download di qualcuno non è documentazione, ed è il modo più rapido per reintrodurre il disallineamento che hai appena corretto.
Mantenerlo utile dopo il primo giorno
Un dizionario dei dati si dimostra utile solo se rimane accurato, e l'USGS è diretto su come fare. Pianifica in anticipo, aggiungi elementi man mano che vengono identificati e aggiorna il dizionario quando le strutture cambiano.
Tre abitudini svolgono la maggior parte del lavoro.
Scrivi definizioni per i non addetti ai lavori. Se un nuovo assunto non può usare la definizione senza dover fare una domanda di chiarimento, significa che non è finita.
Gestisci le versioni insieme ai dati. Quando una colonna viene aggiunta o ne viene modificato il tipo, il dizionario cambia nello stesso momento, non il trimestre successivo.
Adotta uno standard laddove ne esista uno. L'USGS osserva che l'adozione e la citazione di uno standard di dati evita del tutto la necessità di gestire una propria documentazione.
Un dizionario si sposa naturalmente anche con l'abitudine più ampia di concordare i numeri una volta per tutte. La nostra guida alla creazione di una singola fonte di verità copre il livello superiore a questo. Nel frattempo, analizzare un foglio di calcolo creato da qualcun altro descrive la situazione che di solito ne scatena la necessità.
Inizia con il file che hai già
Puoi completare l'intero ciclo descritto sopra con il piano gratuito. Include il caricamento di file Excel, CSV, PDF e documenti, la generazione di approfondimenti e riepiloghi, e la creazione di diapositive, documenti, fogli di calcolo e immagini di base.
Vale la pena specificare chiaramente due limiti. L'analisi di Excel e la creazione di documenti Office sono incluse nel piano Pro. Il piano gratuito include un'attività pianificata, quindi un dizionario che si rigenera secondo una pianificazione richiede un piano a pagamento.
Se il file di origine deve essere prima ripulito, la nostra pagina dedicata alla pulizia dei dati con l'AI copre questo passaggio. Le pagine relative all'assistente AI per Excel e all'assistente AI per CSV coprono i due tipi di file più comuni. Per documentare oggi stesso la tua esportazione più disordinata, prova Powerdrill Bloom.
Domande frequenti
Qual è la differenza tra un dizionario dei dati e i metadati?
Un dizionario dei dati descrive la struttura e il contenuto dei singoli campi. I metadati hanno una portata più ampia, coprendo chi ha prodotto i dati, perché e come sono stati raccolti ed elaborati.
Posso creare un dizionario dei dati in Excel?
Sì, ed è l'approccio standard per i dati dei fogli di calcolo. L'USGS pubblica un modello vuoto per creare manualmente un semplice dizionario dei dati in Excel.
Quanto deve essere dettagliata la definizione di ciascun campo?
Abbastanza dettagliata da consentire a qualcuno esterno al tuo team di utilizzare la colonna senza dover fare domande. Includi i valori ammessi e il significato di una cella vuota, poiché sono questi gli elementi che causano la maggior parte dei disaccordi.
Chi dovrebbe essere il proprietario del dizionario dei dati?
Chiunque sia il proprietario della struttura dei dati, non chi ha richiesto il report. La proprietà conta soprattutto quando una colonna cambia, perché il dizionario deve essere modificato nello stesso momento.
Con quale frequenza deve essere aggiornato un dizionario dei dati?
Ogni volta che la struttura sottostante cambia. L'USGS considera un dizionario non aggiornato come un problema di gestione dei dati, poiché le persone continuano a fidarsi di definizioni che non corrispondono più ai dati reali.