วิธีสร้างพจนานุกรมข้อมูลด้วย AI: คู่มือทีละขั้นตอนฟรี

พจนานุกรมข้อมูล (data dictionary) คือเอกสารที่อธิบายว่าแต่ละคอลัมน์ในข้อมูลของคุณหมายถึงอะไรกันแน่ คุณสามารถสร้างขึ้นมาได้จากสเปรดชีตในสามขั้นตอน ได้แก่ อัปโหลดไฟล์ อธิบายและกำหนดประเภทของแต่ละฟิลด์ จากนั้นตรวจสอบและเผยแพร่ผลลัพธ์ คู่มือนี้จะครอบคลุมถึงสิ่งที่ควรมีอยู่ในพจนานุกรมข้อมูล วิธีการที่ทีมต่าง ๆ สร้างขึ้นด้วยตนเอง และวิธีลัดขั้นตอนที่น่าเบื่อเหล่านั้น

พจนานุกรมข้อมูลคืออะไร

USGS ได้ให้คำจำกัดความที่ชัดเจนที่สุด โดยแนวทางการจัดการข้อมูลระบุไว้ว่า พจนานุกรมข้อมูล "ใช้เพื่อจัดทำสารบัญและสื่อสารโครงสร้างรวมถึงเนื้อหาของข้อมูล" และ "ให้คำอธิบายที่มีความหมายสำหรับออบเจกต์ข้อมูลแต่ละรายการที่มีชื่อเฉพาะ"

คำสองคำในคำจำกัดความนั้นมีความสำคัญอย่างยิ่ง คำว่า "จัดทำสารบัญ" (Catalog) หมายถึงการระบุทุกฟิลด์ รวมถึงฟิลด์ที่ไม่มีใครใช้งาน ส่วนคำว่า "สื่อสาร" (Communicate) หมายถึงการเขียนขึ้นเพื่อให้ผู้อื่นเข้าใจ ไม่ใช่เขียนเพื่อให้ฐานข้อมูลอ่าน

ส่วนที่สองนี้เองคือสิ่งที่แยกพจนานุกรมข้อมูลที่แท้จริงออกจากภาพหน้าจอของหัวคอลัมน์ หัวคอลัมน์ที่ชื่อว่า cust_stat_cd ไม่ใช่เอกสารประกอบ แต่แถวที่อธิบายว่ารหัสเหล่านั้นหมายถึงอะไร ค่าใดบ้างที่อนุญาตให้ใช้ และช่องว่างหมายถึงอะไรต่างหากที่เป็นเอกสารประกอบ

ทีมส่วนใหญ่จำเป็นต้องมีเอกสารนี้อยู่แล้วแต่ไม่รู้ตัว ทันทีที่มีคนสองคนเห็นต่างกันว่า "ลูกค้าที่ยังใช้งานอยู่" (active customer) นับจากอะไร เอกสารที่ขาดหายไปนั้นก็คือพจนานุกรมข้อมูลนั่นเอง

สิ่งที่มีอยู่ในพจนานุกรมข้อมูล

USGS ได้ระบุเนื้อหาทั่วไปที่ควรมี ซึ่งเป็นรายการที่สั้นกระชับพอที่จะใช้เป็นรายการตรวจสอบได้

องค์ประกอบ	สิ่งที่บันทึก
ออบเจกต์ข้อมูล	ชื่อและคำจำกัดความของทุกฟิลด์
คุณสมบัติโดยละเอียด	ประเภทข้อมูล, ขนาด, การอนุญาตให้เป็นค่าว่าง (nullability), ความเป็นทางเลือก (optionality), ดัชนี (indexes)
แผนภาพ	ความสัมพันธ์ระหว่างเอนทิตี (Entity-relationship) และมุมมองระดับระบบอื่น ๆ
ข้อมูลอ้างอิง	การจำแนกประเภทและโดเมนเชิงอธิบาย
รหัสคุณภาพ	ข้อมูลที่ขาดหายไปและรหัสบ่งชี้คุณภาพ
กฎทางธุรกิจ	กฎสำหรับการตรวจสอบความถูกต้องของสกีมาหรือคุณภาพข้อมูล

ไม่ใช่ทุกโครงการที่จำเป็นต้องใช้ทั้งหกข้อนี้ สเปรดชีตแผ่นเดียวที่ส่งต่อระหว่างสองทีมต้องการเพียงสองข้อแรกและข้อที่ห้า ส่วนฐานข้อมูลที่ใช้งานจริง (production database) จำเป็นต้องใช้ทั้งหมด

แถวรหัสคุณภาพคือสิ่งที่มักถูกข้ามไปบ่อยที่สุดและทำให้เสียใจภายหลังมากที่สุด หากช่องว่างสามารถหมายถึง "ศูนย์", "ไม่ทราบ" หรือ "ไม่สามารถใช้ได้" การบันทึกสิ่งนี้ไว้จะช่วยป้องกันไม่ให้นักวิเคราะห์สามคนได้ผลลัพธ์รวมที่แตกต่างกันสามแบบ

ทำไมทีมต่าง ๆ จึงต้องสร้างพจนานุกรมข้อมูล

USGS ได้ระบุประโยชน์การใช้งานไว้หกประการ ซึ่งแต่ละประการสามารถป้องกันความล้มเหลวที่เกิดขึ้นจริงได้

การจัดทำเอกสารประกอบ ช่วยให้รายละเอียดโครงสร้างแก่ผู้ใช้ นักพัฒนา และผู้มีส่วนได้ส่วนเสียอื่น ๆ การสื่อสาร ช่วยให้ผู้คนมีคำศัพท์ที่เข้าใจตรงกัน และช่วยให้นักพัฒนาประเมินผลกระทบจากการเปลี่ยนแปลงสกีมาได้

การออกแบบแอปพลิเคชัน ช่วยให้นักพัฒนาสร้างฟอร์มและรายงานด้วยประเภทข้อมูลและการควบคุมที่ถูกต้อง การวิเคราะห์ระบบ ช่วยให้นักวิเคราะห์มองเห็นการออกแบบโดยรวมและติดตามได้ว่าข้อมูลเชื่อมโยงกับแต่ละกระบวนการที่ใด

การรวมข้อมูล คือสิ่งที่มีความสำคัญที่สุดสำหรับการทำงานกับสเปรดชีต USGS ตั้งข้อสังเกตว่า คำจำกัดความที่ชัดเจนจะ "ช่วยให้เกิดความเข้าใจในบริบทที่จำเป็นเมื่อต้องตัดสินใจว่าจะจับคู่ระบบข้อมูลหนึ่งไปยังอีกระบบหนึ่งอย่างไร" และความเข้าใจเดียวกันนี้จะช่วยตัดสินใจว่า "ควรจะแบ่งกลุ่มย่อย รวม ซ้อน หรือแปลงข้อมูลเพื่อการใช้งานเฉพาะอย่างหรือไม่"

การตัดสินใจ เป็นส่วนเติมเต็มสุดท้าย โดยช่วยในการวางแผนการเก็บรวบรวมข้อมูลและการทำงานร่วมกันอื่น ๆ

มีข้อโต้แย้งที่เฉียบคมกว่านั้นซ่อนอยู่ในหน้าเดียวกัน โดย USGS สังเกตว่าพจนานุกรมข้อมูลสามารถเผยให้เห็นปัญหาด้านความน่าเชื่อถือได้ และเตือนว่า "คำจำกัดความข้อมูลที่ไม่สมบูรณ์อาจทำให้ข้อมูลที่ยอดเยี่ยมกลายเป็นสิ่งที่ไม่สามารถนำไปใช้งานจริงได้เลย"

ในด้านข้อกำหนดก็มีการบันทึกไว้เช่นกัน โดยในบทคู่มือการสำรวจของ USGS เกี่ยวกับเมทาดาตา กำหนดให้บันทึกต่าง ๆ ต้องมีคำจำกัดความของเอนทิตีและแอตทริบิวต์ ควบคู่ไปกับแหล่งที่มาและข้อจำกัดในการใช้งาน

วิธีที่ทีมต่าง ๆ สร้างพจนานุกรมข้อมูลด้วยตนเอง

วิธีการทำด้วยตนเองนั้นขึ้นอยู่กับว่าข้อมูลถูกเก็บไว้ที่ใด ซึ่งทั้งสองแบบต่างก็มีประโยชน์และใช้งานได้จริง

หากข้อมูลอยู่ในฐานข้อมูล ระบบอาจสร้างร่างแรกให้คุณได้ โดย USGS ระบุว่าระบบจัดการฐานข้อมูลส่วนใหญ่ "มีพจนานุกรมข้อมูลที่ทำงานอยู่ภายในตัว และสามารถสร้างเอกสารประกอบได้ตามต้องการ"

หากข้อมูลอยู่ในสเปรดชีต จะไม่มีระบบสร้างอัตโนมัติ USGS จึงได้แนะนำเทมเพลตว่าง "สำหรับสร้างพจนานุกรมข้อมูลอย่างง่ายใน Excel ด้วยตนเอง" ซึ่งเป็นวิธีปฏิบัติที่เป็นมาตรฐานและตรงไปตรงมาที่สุด

การทำด้วยตนเองนั้นหมายถึงการกรอกข้อมูลหนึ่งแถวต่อหนึ่งคอลัมน์ โดยผู้ที่เข้าใจข้อมูลนั้น ๆ ซึ่งประกอบด้วย ชื่อฟิลด์, คำจำกัดความภาษาทั่วไป, ประเภทข้อมูล, ค่าที่อนุญาต, การอนุญาตให้มีช่องว่างหรือไม่ และผู้รับผิดชอบข้อมูล

สำหรับไฟล์ส่งออกที่มีสิบห้าคอลัมน์ ขั้นตอนนี้อาจใช้เวลาเพียงยี่สิบนาที แต่สำหรับไฟล์ปฏิบัติการที่มีหกสิบคอลัมน์ซึ่งดึงมาจากสามระบบ มันจะกลายเป็นงานที่ต้องใช้เวลาทั้งบ่ายที่ไม่มีใครอยากเสียไป

จุดที่ทำให้การทำด้วยตนเองล่าช้า

คอขวดของการทำงานมักไม่ใช่ขั้นตอนการเขียน แต่เป็นขั้นตอนการสืบค้นประวัติข้อมูล

ครึ่งหนึ่งของคอลัมน์ในไฟล์ส่งออกจริงมักมีชื่อที่เป็นตัวย่อที่อยู่ในหัวของใครบางคนเมื่อห้าปีที่แล้ว การจะทำความเข้าใจว่า flag_2 หมายถึงอะไรนั้น จำเป็นต้องเปิดดูข้อมูล จัดเรียงข้อมูล และคาดเดากฎเกณฑ์จากค่าที่มีอยู่

นอกจากนี้ยังมีปัญหาเรื่องความคลาดเคลื่อนของข้อมูล (drift) ซึ่ง USGS ได้ระบุถึงผลลัพธ์ไว้อย่างตรงไปตรงมาว่า "ความล้มเหลวในการปรับปรุงพจนานุกรมข้อมูลให้ทันสมัยตามโครงสร้างข้อมูลจริง แสดงถึงการขาดการดูแลจัดการข้อมูลที่ดี" พจนานุกรมข้อมูลที่เขียนขึ้นเพียงครั้งเดียวแล้วไม่เคยแตะต้องอีกเลยนั้นแย่ยิ่งกว่าการไม่มีเลยเสียอีก เพราะผู้คนจะเชื่อถือข้อมูลในนั้น

ทั้งสองปัญหาเป็นเรื่องของกระบวนการทำงาน การอ่านทุกคอลัมน์ การวิเคราะห์โปรไฟล์ของค่าต่าง ๆ และการเสนอประเภทข้อมูลรวมถึงคำจำกัดความ เป็นขั้นตอนที่ต้องทำซ้ำ ๆ ซึ่งผู้คนมักจะรู้สึกเบื่อและเริ่มทำงานได้ไม่สม่ำเสมอเมื่อถึงแถวที่สี่สิบ

วิธีสร้างพจนานุกรมข้อมูลด้วย AI

ขั้นตอนที่ 1: อัปโหลดไฟล์ที่คุณต้องการจัดทำเอกสารประกอบ

ลงชื่อเข้าใช้งาน Powerdrill Bloom และอัปโหลดไฟล์ที่ส่งออก โดยแผนบริการฟรีรองรับไฟล์ Excel, CSV, PDF และเอกสารต่าง ๆ

ให้อัปโหลดไฟล์จริง ไม่ใช่ไฟล์ตัวอย่างที่ตัดทอนลงมา เพราะค่าที่ผิดปกติในแถวที่ 900 ถึง 1,100 มักจะเป็นจุดที่ซ่อนกฎเกณฑ์ที่น่าสนใจเอาไว้

ขั้นตอนที่ 2: ขอให้วิเคราะห์โปรไฟล์ทีละฟิลด์ด้วยภาษาธรรมชาติ

กำหนดให้แสดงผลหนึ่งแถวต่อหนึ่งคอลัมน์ โดยแต่ละแถวควรมีคำจำกัดความภาษาทั่วไป, ประเภทข้อมูลที่ปรากฏ, ช่วงข้อมูลหรือค่าที่ไม่ซ้ำกัน และจำนวนช่องว่าง พร้อมทั้งขอให้ระบุค่าใด ๆ ที่ดูเหมือนจะเป็นรหัสมากกว่าข้อมูลทั่วไป

จากนั้นให้เจาะลึกในจุดที่ยังคลุมเครือ โดยถามว่าคอลัมน์ใดที่ดูเหมือนจะมีความหมายเป็นรหัส และรหัสแต่ละตัวหมายถึงอะไร จากนั้นคุณสามารถนำไปยืนยันหรือแก้ไขให้ถูกต้องร่วมกับผู้ที่เข้าใจระบบได้

ผลลัพธ์ในขั้นตอนนี้จะเป็นเพียงร่างแรก ไม่ใช่เอกสารที่สมบูรณ์ หน้าที่ของมันคือการช่วยลดขั้นตอนการสืบค้นประวัติข้อมูล เพื่อให้คุณเหลือเพียงแค่การตัดสินใจและตรวจสอบขั้นสุดท้ายเท่านั้น

ขั้นตอนที่ 3: แก้ไขคำจำกัดความให้ถูกต้องและเผยแพร่

ตรวจสอบทุกแถวและแก้ไขจุดที่มีเพียงมนุษย์เท่านั้นที่ตัดสินใจได้ เช่น อะไรที่นับว่ายังใช้งานอยู่ (active) ทำไมคอลัมน์วันที่สองคอลัมน์จึงไม่ตรงกัน และฟิลด์ใดที่เป็นข้อมูลอ้างอิงหลัก จากนั้นจึงส่งออกผลลัพธ์เป็นสเปรดชีตหรือเอกสาร

จัดเก็บเอกสารนี้ไว้ในที่เดียวกับตัวข้อมูล พจนานุกรมข้อมูลที่อยู่ในโฟลเดอร์ดาวน์โหลดของใครบางคนไม่ใช่เอกสารประกอบการใช้งาน และนั่นเป็นวิธีที่เร็วที่สุดที่จะทำให้เกิดความคลาดเคลื่อนของข้อมูลแบบเดิมที่คุณเพิ่งแก้ไขไป

รักษาประโยชน์การใช้งานให้ยาวนานตั้งแต่วันแรก

พจนานุกรมข้อมูลจะมีคุณค่าก็ต่อเมื่อข้อมูลในนั้นยังคงถูกต้องแม่นยำ ซึ่ง USGS ได้แนะนำวิธีไว้อย่างตรงไปตรงมา ได้แก่ การวางแผนล่วงหน้า เพิ่มองค์ประกอบใหม่ ๆ ทันทีที่พบ และอัปเดตพจนานุกรมข้อมูลเมื่อโครงสร้างมีการเปลี่ยนแปลง

นิสัยสามประการนี้จะช่วยให้งานส่วนใหญ่สำเร็จได้

เขียนคำจำกัดความสำหรับคนนอก หากพนักงานใหม่ไม่สามารถเข้าใจคำจำกัดความนั้นได้โดยไม่ต้องถามคำถามเพิ่มเติม แสดงว่าเอกสารนั้นยังไม่เสร็จสมบูรณ์

ทำเวอร์ชันควบคู่ไปกับข้อมูล เมื่อมีการเพิ่มคอลัมน์หรือเปลี่ยนประเภทข้อมูล พจนานุกรมข้อมูลจะต้องได้รับการแก้ไขในรอบเดียวกัน ไม่ใช่รอจนถึงไตรมาสถัดไป

นำมาตรฐานที่มีอยู่แล้วมาปรับใช้ USGS ระบุว่าการนำมาตรฐานข้อมูลมาใช้และอ้างอิงจะช่วยให้คุณไม่ต้องเสียเวลาจัดการเอกสารประกอบของตัวเองเลย

พจนานุกรมข้อมูลยังเข้ากันได้ดีกับแนวปฏิบัติในภาพรวมเรื่องการตกลงยอมรับตัวเลขร่วมกันเพียงครั้งเดียว คู่มือการสร้าง แหล่งข้อมูลอ้างอิงหนึ่งเดียว (single source of truth) ของเราจะครอบคลุมเนื้อหาในระดับที่เหนือกว่านี้ ในขณะที่บทความ การวิเคราะห์สเปรดชีตที่คนอื่นสร้างขึ้น จะครอบคลุมถึงสถานการณ์ที่มักจะเป็นตัวกระตุ้นให้เกิดความต้องการนี้

เริ่มต้นด้วยไฟล์ที่คุณมีอยู่แล้ว

คุณสามารถดำเนินการตามขั้นตอนทั้งหมดข้างต้นได้ด้วยแผนบริการฟรี ซึ่งรองรับการอัปโหลดไฟล์ Excel, CSV, PDF และเอกสารต่าง ๆ รวมถึงการสร้างข้อมูลเชิงลึกและบทสรุป ตลอดจนการสร้างสไลด์ เอกสาร สเปรดชีต และรูปภาพขั้นพื้นฐาน

มีข้อจำกัดสองประการที่ควรทราบอย่างชัดเจน คือ การวิเคราะห์ Excel และการสร้างเอกสาร Office จะอยู่ในแผนบริการ Pro ส่วนแผนบริการฟรีจะรวมงานที่ตั้งเวลาไว้เพียงหนึ่งงาน ดังนั้นพจนานุกรมข้อมูลที่ต้องสร้างใหม่ตามกำหนดเวลาจึงจำเป็นต้องใช้แผนบริการแบบชำระเงิน

หากไฟล์ต้นทางจำเป็นต้องได้รับการจัดระเบียบก่อน หน้า การทำความสะอาดข้อมูลด้วย AI (AI data cleaning) ของเราจะครอบคลุมขั้นตอนนั้น ส่วนหน้า ผู้ช่วย AI สำหรับ Excel (Excel AI assistant) และ ผู้ช่วย AI สำหรับ CSV (CSV AI assistant) จะครอบคลุมประเภทไฟล์ที่พบบ่อยที่สุดสองประเภท หากต้องการจัดทำเอกสารประกอบสำหรับไฟล์ส่งออกที่ยุ่งเหยิงที่สุดของคุณในวันนี้ ลองใช้งาน Powerdrill Bloom

คำถามที่พบบ่อย

พจนานุกรมข้อมูลและเมทาดาตาแตกต่างกันอย่างไร

พจนานุกรมข้อมูลจะอธิบายโครงสร้างและเนื้อหาของแต่ละฟิลด์ ส่วนเมทาดาตาจะมีความหมายที่กว้างกว่า โดยครอบคลุมถึงผู้ผลิตข้อมูล เหตุผลที่ผลิต ตลอดจนวิธีการจัดเก็บและประมวลผลข้อมูล

ฉันสามารถสร้างพจนานุกรมข้อมูลใน Excel ได้หรือไม่

ได้ และนี่เป็นวิธีปกติสำหรับการจัดการข้อมูลสเปรดชีต ทั้งนี้ USGS ได้เผยแพร่เทมเพลตว่างสำหรับสร้างพจนานุกรมข้อมูลอย่างง่ายใน Excel ด้วยตนเอง

คำจำกัดความของแต่ละฟิลด์ควรมีรายละเอียดมากน้อยเพียงใด

ควรมีรายละเอียดมากพอที่คนนอกทีมของคุณจะสามารถนำคอลัมน์นั้นไปใช้งานได้โดยไม่ต้องถามคำถามเพิ่มเติม โดยควรระบุค่าที่อนุญาตและความหมายของช่องว่าง เนื่องจากสิ่งเหล่านี้มักเป็นสาเหตุหลักของความเห็นที่ไม่ตรงกัน

ใครควรเป็นเจ้าของพจนานุกรมข้อมูล

ผู้ที่เป็นเจ้าของโครงสร้างข้อมูลควรเป็นผู้ดูแล ไม่ใช่ผู้ที่ร้องขอรายงาน ความเป็นเจ้าของมีความสำคัญที่สุดเมื่อมีการเปลี่ยนแปลงคอลัมน์ เนื่องจากพจนานุกรมข้อมูลจะต้องได้รับการแก้ไขในรอบเดียวกัน

ควรอัปเดตพจนานุกรมข้อมูลบ่อยแค่ไหน

ควรอัปเดตทุกครั้งที่โครงสร้างข้อมูลต้นทางมีการเปลี่ยนแปลง USGS ถือว่าพจนานุกรมข้อมูลที่ล้าสมัยเป็นปัญหาด้านการดูแลจัดการข้อมูล เนื่องจากผู้คนจะยังคงเชื่อถือคำจำกัดความที่ไม่ตรงกับข้อมูลจริงอีกต่อไปแล้ว