Hoe maak je een data dictionary met AI: een gratis stappenplan
Een data dictionary is het document dat beschrijft wat elke kolom in je gegevens daadwerkelijk betekent. Je kunt er een maken van een spreadsheet in drie stappen: upload het bestand, laat elk veld beschrijven en typeren, en controleer en publiceer vervolgens het resultaat. Deze gids behandelt wat erin thuishoort, hoe teams ze handmatig bouwen en hoe je het saaie gedeelte kunt inkorten.
Wat een data dictionary is
De U.S. Geological Survey geeft de duidelijkste definitie die er is. De richtlijnen voor databeheer stellen dat een data dictionary "wordt gebruikt om de structuur en inhoud van gegevens te catalogiseren en te communiceren." Het "biedt betekenisvolle beschrijvingen voor individueel benoemde data-objecten."
Twee woorden in die definitie dragen het meeste gewicht. Catalogiseren betekent dat elk veld wordt vermeld, inclusief de velden die niemand gebruikt. Communiceren betekent dat het is geschreven voor een ander persoon, niet voor een database.
Dat tweede deel is wat een echte data dictionary onderscheidt van een screenshot van kolomkoppen. Een kop genaamd cust_stat_cd is geen documentatie. Een rij die vertelt wat die codes betekenen, welke waarden zijn toegestaan en wat een leeg veld betekent, is dat wel.
De meeste teams hebben er al een nodig zonder dat ze het weten. Op het moment dat twee mensen het oneens zijn over wat als een "actieve klant" telt, is het ontbrekende document een data dictionary.
Wat erin thuishoort
De USGS somt de typische inhoud op, en de lijst is kort genoeg om als checklist te gebruiken.
| Element | Wat het vastlegt |
|---|---|
| Data-objecten | Namen en definities van elk veld |
| Gedetailleerde eigenschappen | Datatype, grootte, nullability, optionaliteit, indexen |
| Diagrammen | Entity-relationship- en andere weergaven op systeemniveau |
| Referentiegegevens | Classificatie en beschrijvende domeinen |
| Kwaliteitscodes | Ontbrekende gegevens en kwaliteit-indicatorcodes |
| Bedrijfsregels | Regels voor het valideren van een schema of datakwaliteit |
Niet elk project heeft ze alle zes nodig. Een enkele spreadsheet die tussen twee teams wordt uitgewisseld, heeft de eerste twee en de vijfde nodig. Een productiedatabase heeft ze allemaal nodig.
De rij met kwaliteitscodes is degene die het vaakst wordt overgeslagen en waar men het vaakst spijt van krijgt. Als een lege cel "nul", "onbekend" of "niet van toepassing" kan betekenen, voorkomt het opschrijven daarvan dat drie verschillende analisten tot drie verschillende totalen komen.
Waarom teams ze bouwen
De USGS noemt zes toepassingen, en elk daarvan is gekoppeld aan een reëel probleem dat het voorkomt.
Documentatie biedt structuurdetails voor gebruikers, ontwikkelaars en andere belanghebbenden. Communicatie geeft mensen een gemeenschappelijke woordenschat en helpt ontwikkelaars de impact van schemawijzigingen in te schatten.
Applicatieontwerp helpt ontwikkelaars formulieren en rapporten te bouwen met de juiste datatypen en besturingselementen. Systeemanalyse stelt analisten in staat om het algehele ontwerp te zien en te traceren waar gegevens elk proces ontmoeten.
Data-integratie is degene die het zwaarst weegt voor spreadsheetwerk. De USGS merkt op dat duidelijke definities "het contextuele begrip bieden dat nodig is bij de beslissing hoe het ene datasysteem op het andere moet worden afgestemd." Hetzelfde begrip bepaalt "of gegevens moeten worden gesubset, samengevoegd, gestapeld of getransformeerd voor een specifiek gebruik."
Besluitvorming maakt het plaatje compleet en helpt bij het plannen van gegevensverzameling en ander gezamenlijk werk.
Er ligt een scherper argument verborgen op dezelfde pagina. De USGS merkt op dat een dictionary geloofwaardigheidsproblemen aan het licht kan brengen. Ze waarschuwen dat "onvolledige datadefinities anderszins uitstekende gegevens vrijwel nutteloos kunnen maken."
De verplichte kant is ook gedocumenteerd. Het Survey Manual-hoofdstuk over metadata van de USGS verplicht dat records definities van entiteiten en attributen bevatten, samen met herkomst en gebruiksbeperkingen.
Hoe teams er handmatig een bouwen
De handmatige route hangt af van waar de gegevens zich bevinden, en beide versies zijn legitiem.
Als het zich in een database bevindt, het systeem kan een eerste concept voor je genereren. De USGS merkt op dat de meeste databasemanagementsystemen "ingebouwde, actieve data dictionaries hebben en documentatie kunnen genereren wanneer dat nodig is."
Als het zich in een spreadsheet bevindt, is er geen generator. De USGS verwijst naar een leeg sjabloon "voor het handmatig maken van een eenvoudige 'data dictionary' in Excel," wat precies de eerlijke stand van de techniek is.
Die handmatige versie betekent één rij per kolom, ingevuld door iemand die de gegevens kent. Veldnaam, definitie in duidelijke taal, type, toegestane waarden, of lege velden zijn toegestaan en wie de eigenaar is.
Voor een export van vijftien kolommen kost dit twintig minuten. Voor een operationeel bestand van zestig kolommen dat uit drie systemen is gehaald, wordt het een middag die niemand heeft.
Waar de handmatige route vertraagt
De bottleneck is zelden het schrijven. Het is de archeologie.
De helft van de kolommen in een echte export heeft namen die de afgelopen vijf jaar afkortingen waren in iemands hoofd. Om uit te zoeken wat flag_2 betekent, moet je de gegevens openen, ze sorteren en de regel afleiden uit de waarden.
Dan is er nog het verloop. De USGS is duidelijk over de gevolgen: "het niet up-to-date houden van de dictionary met de werkelijke datastructuren wijst op een gebrek aan databeheer." Een dictionary die eenmalig is geschreven en daarna nooit meer is aangeraakt, is erger dan geen, omdat mensen erop vertrouwen.
Beide problemen zijn mechanisch. Het lezen van elke kolom, het profileren van de waarden en het voorstellen van een type en een definitie is een repetitieve taak. Mensen vinden het saai en worden inconsistent rond rij veertig.
Hoe je een data dictionary maakt met AI
Stap 1: Upload het bestand dat je wilt documenteren
Meld je aan bij Powerdrill Bloom en upload de export. Excel, CSV, PDF en documenten worden vermeld in het gratis abonnement.
Upload het echte bestand, niet een ingekorte steekproef. De afwijkende waarden in de rijen 900 tot 1,100 zijn meestal de plekken waar de interessante regels zich verbergen.
Stap 2: Vraag om een profiel per veld in natuurlijke taal
Vraag om één rij per kolom. Elke rij moet een definitie in duidelijke taal bevatten, het schijnbare datatype, het bereik of de unieke waarden, en het aantal lege velden. Vraag om elke waarde te markeren die eruitziet als een code in plaats van gegevens.
Vraag vervolgens door over de dubbelzinnige kolommen. Vraag welke kolommen een gecodeerde betekenis lijken te hebben en wat elke code vertegenwoordigt. Je kunt deze vervolgens bevestigen of corrigeren met iemand die het systeem kent.
De uitvoer in deze fase is een concept, geen document. Het is bedoeld om de archeologie weg te nemen, zodat jij alleen nog je oordeel hoeft te vellen.
Stap 3: Corrigeer de definities en publiceer het
Controleer elke rij en corrigeer de rijen die alleen een mens kan beoordelen. Wat telt als actief, waarom twee datumkolommen niet overeenstemmen en welke velden leidend zijn. Exporteer het resultaat vervolgens als een sheet of document.
Geef het een plek naast de gegevens zelf. Een dictionary in iemands downloadmap is geen documentatie, en het is de verste weg om het verloop dat je net hebt hersteld weer te introduceren.
Houd het nuttig na dag één
Een data dictionary bewijst zijn waarde alleen als hij accuraat blijft, en de USGS is duidelijk over hoe je dat doet. Plan vooruit, voeg elementen toe zodra ze worden geïdentificeerd en werk de dictionary bij wanneer structuren veranderen.
Drie gewoonten doen het meeste werk.
Schrijf definities voor buitenstaanders. Als een nieuwe medewerker de definitie niet kan gebruiken zonder een vervolgvraag te stellen, is deze niet af.
Versioneer het samen met de gegevens. Wanneer een kolom wordt toegevoegd of van type verandert, verandert de dictionary in dezelfde ronde mee, niet pas volgend kwartaal.
Gebruik een standaard waar deze bestaat. De USGS merkt op dat het overnemen en citeren van een datastandaard de noodzaak om je eigen documentatie te beheren volledig overbodig maakt.
Een dictionary sluit ook natuurlijk aan bij de bredere gewoonte om het eenmalig eens te worden over cijfers. Onze gids voor het bouwen van een single source of truth behandelt de laag hierboven. Ondertussen behandelt het analyseren van een spreadsheet die door iemand anders is gebouwd de situatie die deze behoefte meestal triggert.
Begin met het bestand dat je al hebt
Je kunt de hele bovenstaande cyclus doorlopen met het gratis abonnement. Dit biedt uploads voor Excel, CSV, PDF en documenten, gegenereerde inzichten en samenvattingen, en het maken van eenvoudige dia's, documenten, sheets en afbeeldingen.
Twee beperkingen zijn het vermelden waard. Excel-analyse en het maken van Office-documenten vallen onder Pro. Het gratis abonnement bevat één geplande taak, dus een dictionary die volgens een schema opnieuw wordt gegenereerd, vereist een betaald abonnement.
Als het onderliggende bestand eerst moet worden opgeschoond, behandelt onze pagina over AI-data-opschoning die stap. De pagina's over de Excel AI-assistent en CSV AI-assistent behandelen de twee meest voorkomende bestandstypen. Om je meest rommelige export vandaag nog te documenteren, probeer Powerdrill Bloom.
Veelgestelde vragen
Wat is het verschil tussen een data dictionary en metadata?
Een data dictionary beschrijft de structuur en inhoud van individuele velden. Metadata is breder en omvat wie de gegevens heeft geproduceerd, waarom, en hoe ze zijn verzameld en verwerkt.
Can ik een data dictionary maken in Excel?
Ja, en dat is de gebruikelijke aanpak voor spreadsheetgegevens. De USGS publiceert een leeg sjabloon om handmatig een eenvoudige data dictionary in Excel te bouwen.
Hoe gedetailleerd moet elke velddefinitie zijn?
Gedetailleerd genoeg zodat iemand buiten je team de kolom kan gebruiken zonder vragen te stellen. Neem toegestane waarden op en wat een leeg veld betekent, aangezien die de meeste meningsverschillen veroorzaken.
Wie moet de eigenaar zijn van de data dictionary?
Degene die eigenaar is van de datastructuur, niet degene die om het rapport heeft gevraagd. Eigenaarschap is vooral belangrijk wanneer een kolom verandert, omdat de dictionary in dezelfde ronde moet worden aangepast.
Hoe vaak moet een data dictionary worden bijgewerkt?
Telkens wanneer de onderliggende structuur verandert. De USGS beschouwt een verouderde dictionary als een probleem met het databeheer, omdat mensen blijven vertrouwen op definities die niet langer overeenkomen met de gegevens.