CSV-bestanden beheersen met AI: structuur, use cases en belangrijkste voordelen

Bijna elk systeem dat u gebruikt kan een CSV-bestand exporteren. Dat is waarom het overleeft, en ook waarom het kapotgaat op manieren die niemand verwacht.

Dit artikel behandelt wat het formaat daadwerkelijk voorschrijft, waar implementaties uiteenlopen en voor welke taken het echt de juiste keuze is.

Alles over het formaat is afkomstig uit RFC 4180, het document uit oktober 2005 waarin het mediatype text/csv werd geregistreerd. Dezelfde tekst is ook te vinden op de IETF datatracker.

Wat een CSV-bestand daadwerkelijk is

Een CSV-bestand is platte tekst geordend in records en velden. Er zit geen werkmap, geen opmaaklaag en geen formule-engine achter.

RFC 4180 is ongebruikelijk openhartig over zijn eigen status. Er staat in dat "er geen formele specificatie bestaat, wat ruimte laat voor een grote verscheidenheid aan interpretaties van CSV-bestanden."

Het document beschrijft dus eerder een conventie dan een wet. In eigen woorden zet het "het formaat uiteen dat door de meeste implementaties lijkt te worden gevolgd."

Die ene zin verklaart het merendeel van de frustraties rondom CSV. Twee tools kunnen beide volkomen logisch te werk gaan en het toch oneens zijn over hetzelfde bestand.

De zeven regels in de specificatie

RFC 4180 noemt zeven regels. Ze zijn kort genoeg om te onthouden, en dat is zeker de moeite waard.

1. "Elk record bevindt zich op een aparte regel, gescheiden door een regeleinde (CRLF)."
2. "Het laatste record in het bestand kan wel of geen afsluitend regeleinde hebben."
3. Er kan een optionele kopregel als eerste regel zijn, met hetzelfde aantal velden als de records.
4. Velden worden gescheiden door komma's, en "elke regel moet in het hele bestand hetzelfde aantal velden bevatten."
5. Velden kunnen wel of niet tussen dubbele aanhalingstekens staan.
6. "Velden die regeleinden (CRLF), dubbele aanhalingstekens en komma's bevatten, moeten tussen dubbele aanhalingstekens staan."
7. Een dubbel aanhalingsteken binnen een geciteerd veld "moet worden geëscaped door er nog een dubbel aanhalingsteken voor te plaatsen."

Twee bepalingen binnen die regels veroorzaken meer problemen dan de rest bij elkaar.

Spaties zijn data. Regel 4 stelt dat "spaties als onderdeel van een veld worden beschouwd en niet mogen worden genegeerd." Een verdwaalde spatie zorgt voor een andere waarde.

Geen afsluitende komma. Dezelfde regel zegt dat "het laatste veld in het record niet mag worden gevolgd door een komma." Een afsluitende komma impliceert een extra leeg veld.

Waarom twee geldige CSV-bestanden het toch oneens kunnen zijn

Regel 5 bevat een bekentenis die de meeste problemen in de praktijk voorspelt. RFC 4180 merkt op dat "sommige programma's, zoals Microsoft Excel, helemaal geen dubbele aanhalingstekens gebruiken."

Zodra het gebruik van aanhalingstekens optioneel is, wordt de escaping-regel in regel 7 ook conditioneel. Een bestand dat door de ene tool is geschreven, kan door een andere tool anders worden gelezen zonder dat een van beide het fout doet.

De formele grammatica laat zien hoe smal het veilige pad is. De velddefinitie van de specificatie staat alleen geëscapete of niet-geëscapete vormen toe, waarbij de geëscapete vorm komma's, carriage returns en line feeds tussen dubbele aanhalingstekens plaatst.

In de praktijk is dit het punt waarop een enkele klantnaam met een komma erin één rij in tweeën verandert.

De fout treedt geruisloos op, en dat is precies wat het zo kostbaar maakt. Er verschijnen geen foutmeldingen. U krijgt simpelweg een bestand met meer rijen dan de bedoeling is, en de extra rijen zien er geloofwaardig uit.

De twee parameters die de meeste problemen veroorzaken

De MIME-registratie in RFC 4180 vermeldt helemaal geen verplichte parameters. Er worden exact twee optionele genoemd: charset and header.

Beide zijn optioneel, en beide zijn de gebruikelijke verdachten wanneer een import misgaat.

Charset. De registratie merkt op dat "het gebruikelijke gebruik van CSV US-ASCII is," hoewel andere tekensets zijn toegestaan. Niets in het bestand geeft aan welke set is gebruikt, waardoor namen met accenten en valutasymbolen als wartaal aankomen.

Header. Regel 3 maakt de kopregel optioneel, en de registratie stelt dat de aanwezigheid ervan "moet worden aangegeven via de optionele header-parameter." Een kaal bestand vertelt u niet of rij één data of labels bevat.

Een derde probleem staat helemaal niet in de specificatie, omdat de specificatie er niets over te zeggen heeft: er zijn geen datatypes. Elk veld is tekst totdat een volgend proces anders vermoedt.

Wanneer een CSV-bestand de juiste keuze is

Het formaat wint op het gebied van overdraagbaarheid, en dat is niet onbelangrijk.

Data verplaatsen tussen systemen die niets delen. Twee willekeurige tools die tekst kunnen lezen, kunnen een CSV-bestand uitwisselen.

Iets archiveren dat u over tien jaar nog moet kunnen openen. Er is geen propriëtaire software die verouderd kan raken.

Streamen en toevoegen. Omdat elk record één regel is, kan een proces rijen wegschrijven zonder het hele bestand opnieuw te hoeven schrijven.

Diffen en versiebeheer. Tekst op basis van regels werkt uitstekend met de tools die u al gebruikt voor code.

Waar een CSV-bestand u parten speelt

Diezelfde eenvoud verwijdert zaken waar u mogelijk op vertrouwt.

Wat u verliest	Waarom het uitmaakt
Datatypes	Voorloopnullen, lange ID's en datums worden bij de import opnieuw geïnterpreteerd
Meerdere tabbladen	Eén bestand is één tabel, dus relaties bevinden zich ergens anders
Formules en opmaak	Alleen de berekende waarden overleven een export
Een gedeclareerde codering	Niets in het bestand vermeldt de tekenset
Een gedeclareerd scheidingsteken	Met puntkomma's gescheiden exports komen vaak voor en worden nog steeds CSV genoemd

Geen van deze zaken zijn bugs. Ze zijn de prijs van een formaat dat geen metadata bevat. Alles wat u wilt behouden, moet buiten het bestand zelf worden gedocumenteerd.

Belangrijkste voordelen samengevat

Als u de essentie in één regel wilt samenvatten, dan is dit het.

Een CSV-bestand is de meest overdraagbare, duurzame en streamvriendelijke manier om tabelgegevens te verplaatsen. Het bereikt dat door niets anders dan de waarden te bevatten.

Die afweging is de moeite waard wanneer het ontvangende systeem onbekend is of ver in de toekomst ligt. Het is een slechte deal wanneer types, relaties of opmaak de overdracht moeten overleven.

De door tabs gescheiden variant ruilt het ene probleem in voor het andere. Ons bijbehorende artikel over het beheersen van TSV-bestanden behandelt waar die ruil nuttig is.

Werken met CSV-bestanden met behulp van AI

De kloof tussen "ik heb het bestand" en "ik heb het antwoord" is waar de meeste tijd in gaat zitten. Die kloof is nu grotendeels te automatiseren.

Powerdrill Bloom verwerkt het bestand rechtstreeks. Het gratis abonnement biedt uploads voor Excel, CSV, PDF en documenten, samen met gegenereerde inzichten, grafieken en samenvattingen.

Drie functiepagina's behandelen de meest voorkomende taken. De CSV AI assistant beantwoordt vragen over een enkel bestand. CSV AI tools dekt het bredere scala aan mogelijkheden, en merge CSV file voegt exports samen die apart zijn binnengekomen. De TSV analysis-pagina behandelt de door tabs gescheiden variant.

Door de taak in natuurlijke taal te beschrijven, vermijdt u de gebruikelijke omweg. U schrijft geen parser en u hoeft niet te raden naar een codering; u benoemt simpelweg de uitvoer die u nodig hebt.

De abonnementen staan op de tarievenpagina, en het gratis niveau is voldoende om dit op een echte export te testen. Om het te proberen, start met Powerdrill Bloom.

Veelgestelde vragen

Bestaat er een officiële CSV-standaard?

RFC 4180 registreerde het mediatype text/csv en documenteerde de gangbare praktijk. Er staat onomwonden in dat er geen formele specificatie bestond, dus beschouw het eerder als een conventie dan als een strikte standaard.

Waarom verdwijnen mijn voorloopnullen?

Het formaat bevat geen datatypes, dus een volgend programma besluit dat een waarde als 00123 een getal is. Het tussen aanhalingstekens plaatsen voorkomt deze aanname niet altijd.

Hoe moet ik omgaan met komma's binnen een waarde?

Plaats het veld tussen dubbele aanhalingstekens, volgens regel 6. Als de waarde ook een dubbel aanhalingsteken bevat, escape deze dan door hem te verdubbelen, volgens regel 7.

Zijn met puntkomma's gescheiden bestanden nog steeds CSV?

Ze worden op grote schaal geproduceerd en overal CSV genoemd, maar de specificatie beschrijft komma's. Controleer het scheidingsteken vóór het importeren in plaats van ervan uit te gaan. De eerste twee regels openen in een teksteditor kost een paar seconden en geeft direct uitsluitsel.

CSV of TSV: welke moet ik exporteren?

Kies op basis van uw gegevens. Tabs komen in tekstwaarden minder vaak voor dan komma's, wat het gebruik van aanhalingstekens vermindert. Tabs gaan echter ook gemakkelijker verloren wanneer een bestand via een editor wordt gekopieerd.