كيفية إنشاء قاموس بيانات باستخدام الذكاء الاصطناعي: دليل مجاني خطوة بخطوة

قاموس البيانات هو المستند الذي يوضح المعنى الفعلي لكل عمود في بياناتك. يمكنك إنشاء قاموس بيانات من جدول بيانات في ثلاث خطوات: تحميل الملف، ثم وصف كل حقل وتحديد نوعه، ثم مراجعة النتيجة ونشرها. يغطي هذا الدليل ما يجب أن يتضمنه قاموس البيانات، وكيف تبنيه الفرق يدويًا، وكيفية اختصار الجزء الممل.

ما هو قاموس البيانات

تقدم USGS التعريف الأكثر وضوحًا المتاح. حيث تشير إرشادات إدارة البيانات الخاصة بها إلى أن قاموس البيانات "يُستخدم لفهرسة وتوصيل بنية البيانات ومحتواها". كما أنه "يوفر أوصافًا ذات مغزى لعناصر البيانات ذات الأسماء الفردية".

هناك كلمتان في هذا التعريف تحملان الأهمية الكبرى. "الفهرسة" تعني إدراج كل حقل، بما في ذلك الحقول التي لا يستخدمها أحد. و"التوصيل" يعني أنه مكتوب لشخص آخر، وليس لقاعدة بيانات.

هذا الجزء الثاني هو ما يفرق بين قاموس البيانات الحقيقي ولقطة شاشة لرؤوس الأعمدة. فرأس العمود المسمى cust_stat_cd ليس توثيقًا. بل الصف الذي يوضح معنى تلك الرموز، والقيم المسموح بها، وما يشير إليه الفراغ، هو التوثيق الحقيقي.

معظم الفرق تحتاج بالفعل إلى قاموس بيانات دون أن تدرك ذلك. ففي اللحظة التي يختلف فيها شخصان حول ما يُعتبر "عميلًا نشطًا"، فإن المستند المفقود هو قاموس البيانات.

ما الذي يحتويه قاموس البيانات

تعرض USGS المحتويات النموذجية، وهذه القائمة قصيرة بما يكفي لاستخدامها كقائمة مراجعة.

العنصر	ما يسجله
عناصر البيانات	أسماء وتعاريف كل حقل
الخصائص التفصيلية	نوع البيانات، الحجم، قابلية القيمة الفارغة (nullability)، الاختيارية، الفهارس
المخططات	مخططات علاقات الكيانات (Entity-relationship) وغيرها من طرق العرض على مستوى النظام
البيانات المرجعية	التصنيف والمجالات الوصفية
رموز الجودة	البيانات المفقودة ورموز مؤشرات الجودة
قواعد العمل	قواعد للتحقق من صحة المخطط (schema) أو جودة البيانات

لا يحتاج كل مشروع إلى العناصر الستة جميعها. فجدول البيانات الفردي الذي يتم تبادله بين فريقين يحتاج فقط إلى العنصرين الأولين والخامس. بينما تحتاج قاعدة بيانات الإنتاج إليها جميعًا.

إن صف رموز الجودة هو الأكثر تجاهلًا والأكثر ندمًا على حذفه لاحقًا. فإذا كانت الخلية الفارغة يمكن أن تعني "صفرًا" أو "غير معروف" أو "غير قابل للتطبيق"، فإن تدوين ذلك يمنع ثلاثة محللين مختلفين من الوصول إلى ثلاثة مجاميع مختلفة.

لماذا تبني الفرق قواميس البيانات

تحدد USGS ستة استخدامات، ويرتبط كل منها بفشل حقيقي تمنع حدوثه.

يوفر التوثيق تفاصيل البنية للمستخدمين والمطورين وأصحاب المصلحة الآخرين. ويمنح التواصل الأشخاص مفردات مشتركة ويساعد المطورين على قياس تأثير تغييرات المخطط (schema).

يساعد تصميم التطبيقات المطورين على بناء النماذج والتقارير بأنواع البيانات وعناصر التحكم الصحيحة. ويتيح تحليل الأنظمة للمحللين رؤية التصميم العام وتتبع مكان التقاء البيانات بكل عملية.

يعد تكامل البيانات هو العنصر الأكثر أهمية في العمل على جداول البيانات. تشير USGS إلى أن التعريفات الواضحة "توفر الفهم السياقي المطلوب عند اتخاذ قرار بشأن كيفية مطابقة نظام بيانات بآخر". ويحدد الفهم نفسه "ما إذا كان يجب تقسيم البيانات، أو دمجها، أو تجميعها، أو تحويلها لاستخدام معين".

ويأتي صنع القرار ليكمل هذه الاستخدامات، حيث يساعد في التخطيط لجمع البيانات والأعمال التعاونية الأخرى.

هناك حجة أكثر قوة تكمن في الصفحة نفسها. حيث تلاحظ USGS أن القاموس يمكن أن يكشف عن مشكلات في المصداقية. وتحذر من أن "تعريفات البيانات غير المكتملة يمكن أن تجعل البيانات الممتازة عديمة الفائدة تقريبًا".

كما تم توثيق جانب المتطلبات الإلزامية أيضًا. حيث يلزم فصل دليل المسح الخاص بـ USGS المتعلق بالبيانات الوصفية (metadata) السجلات بحمل تعريفات للكيانات والسمات، إلى جانب مصدر البيانات وقيود الاستخدام.

كيف تبني الفرق قاموس البيانات يدويًا

تعتمد الطريقة اليدوية على مكان وجود البيانات، وكلا الخيارين مشروعان.

إذا كانت البيانات موجودة في قاعدة بيانات، فقد ينشئ النظام مسودة أولى لك. تشير USGS إلى أن معظم أنظمة إدارة قواعد البيانات "تحتوي على قواميس بيانات نشطة ومدمجة ويمكنها إنشاء التوثيق حسب الحاجة".

أما إذا كانت البيانات موجودة في جدول بيانات، فلا يوجد منشئ تلقائي. تشير USGS إلى نموذج فارغ "لإنشاء 'قاموس بيانات' بسيط يدويًا في Excel"، وهو ما يمثل بدقة الوضع الفعلي الحالي.

تعني هذه النسخة اليدوية تخصيص صف واحد لكل عمود، يملؤه شخص يعرف البيانات جيدًا. ويتضمن اسم الحقل، والتعريف بلغة مبسطة، والنوع، والقيم المسموح بها، وما إذا كان يُسمح بالفراغات، والجهة المالكة له.

بالنسبة لملف مصدر يحتوي على خمسة عشر عمودًا، يستغرق هذا الأمر عشرين دقيقة. أما بالنسبة لملف تشغيلي يحتوي على ستين عمودًا ومسحوب من ثلاثة أنظمة، فإن الأمر يتحول إلى عمل يستغرق فترة بعد ظهر كاملة لا يملكها أحد.

أين تتباطأ الطريقة اليدوية

نادرًا ما تكمن العقبة في عملية الكتابة نفسها، بل تكمن في "التنقيب الأثري" عن معاني البيانات.

نصف الأعمدة في أي ملف مصدر حقيقي تحمل أسماءً كانت مجرد اختصارات في رأس شخص ما قبل خمس سنوات. ويتطلب معرفة معنى flag_2 فتح البيانات وفرزها واستنتاج القاعدة من القيم.

ثم هناك مشكلة الانحراف أو التغير بمرور الوقت. وتتحدث USGS بصراحة عن العواقب: "إن الفشل في إبقاء القاموس محدثًا ليتوافق مع بنيات البيانات الفعلية يشير إلى الافتقار إلى الإشراف على البيانات". إن كتابة القاموس مرة واحدة وعدم لمسه بعد ذلك أسوأ من عدم وجوده على الإطلاق، لأن الناس يثقون به.

كلتا المشكلتين آليتان. فقراءة كل عمود، وتحليل قيمه، واقتراح نوع وتعريف له هي عملية متكررة. يجدها الناس مملة ويبدأون في فقدان الدقة والاتساق بحلول الصف الأربعين.

كيفية إنشاء قاموس بيانات باستخدام الذكاء الاصطناعي

الخطوة 1: تحميل الملف الذي تريد توثيقه

قم بتسجيل الدخول إلى Powerdrill Bloom وحمل الملف المصدر. تتوفر ملفات Excel و CSV و PDF والمستندات (docs) في الخطة المجانية.

قم بتسجيل الدخول إلى Powerdrill Bloom وحمل الملف المصدر. تتوفر ملفات Excel و CSV و PDF والمستندات (docs) في الخطة المجانية.

الخطوة 2: اطلب تحليلًا تفصيليًا لكل حقل بلغة طبيعية

اطلب صفًا واحدًا لكل عمود. يجب أن يحتوي كل صف على تعريف بلغة مبسطة، ونوع البيانات الظاهري، والنطاق أو القيم الفريدة، وعدد الخلايا الفارغة. واطلب منه وضع علامة على أي قيمة تبدو كرمز وليس كبيانات عادية.

ثم ركز على الحقول الغامضة. اسأل عن الأعمدة التي يبدو أنها تحمل معنى مرموزًا وما يمثله كل رمز. يمكنك بعد ذلك تأكيد هذه الرموز أو تصحيحها مع شخص يعرف النظام جيدًا.

المخرجات في هذه المرحلة هي مجرد مسودة وليست مستندًا نهائيًا. وتتمثل مهمتها في إعفائك من عناء "التنقيب الأثري" بحيث يقتصر دورك على تقديم التقييم والقرار النهائي فقط.

الخطوة 3: تصحيح التعريفات ونشرها

راجع كل صف وقم بتصحيح الصفوف التي لا يمكن لغير البشر تسويتها؛ مثل ما يُعتبر نشطًا، ولماذا يختلف عمودا التاريخ، وأي الحقول هي المعتمدة والموثوقة. ثم قم بتصدير النتيجة كجدول بيانات أو مستند.

احفظه في مكان بجوار البيانات نفسها. فالقاموس المتروك في مجلد التنزيلات الخاص بشخص ما لا يُعد توثيقًا، وهو أسرع طريقة لإعادة إدخال مشكلة الانحراف التي قمت بتصحيحها للتو.

حافظ على فائدته بعد اليوم الأول

لا يؤدي قاموس البيانات دوره الفعلي إلا إذا ظل دقيقًا ومحدثًا، وتتحدث USGS بوضوح عن كيفية القيام بذلك: خطط مسبقًا، وأضف العناصر فور تحديدها، وحدث القاموس عندما تتغير البنيات.

هناك ثلاث عادات تنجز معظم هذا العمل.

اكتب تعريفات واضحة للغرباء عن الفريق. إذا كان الموظف الجديد لا يستطيع استخدام التعريف دون طرح سؤال للمتابعة، فهذا يعني أن التعريف غير مكتمل.

اربط إصدار القاموس بإصدار البيانات. عند إضافة عمود أو تغيير نوعه، يجب تعديل القاموس في نفس الوقت، وليس في الربع القادم.

اعتمد معيارًا محددًا حيثما وجد. تشير USGS إلى أن اعتماد معيار بيانات والاستشهاد به يغنيك تمامًا عن الحاجة إلى إدارة التوثيق الخاص بك بنفسك.

يقترن القاموس أيضًا بشكل طبيعي بالعادات الأوسع المتمثلة في الاتفاق على الأرقام مرة واحدة وإلى الأبد. يغطي دليلنا لإنشاء مصدر واحد للحقيقة الطبقة التي تعلو هذه الخطوة. وفي الوقت نفسه، يغطي موضوع تحليل جدول بيانات قام ببنائه شخص آخر الحالة التي تؤدي عادةً إلى نشوء هذه الحاجة.

ابدأ بالملف الذي لديك بالفعل

يمكنك إكمال الدورة المذكورة أعلاه بالكامل على الخطة المجانية. وهي تتيح تحميل ملفات Excel و CSV و PDF والمستندات (docs)، وتوليد الرؤى والملخصات، وإنشاء الشرائح والمستندات وجداول البيانات والصور الأساسية.

هناك حدان يجدر توضيحهما بصراحة. يتوفر تحليل Excel وإنشاء مستندات Office في خطة Pro. وتتضمن الخطة المجانية مهمة مجدولة واحدة فقط، لذا فإن القاموس الذي يتم إنشاؤه تلقائيًا وفقًا لجدول زمني يتطلب اشتراكًا مدفوعًا.

إذا كان الملف الأساسي يحتاج إلى ترتيب أولاً، فإن صفحتنا الخاصة بـ تنظيف البيانات بالذكاء الاصطناعي تغطي هذه الخطوة. وتغطي صفحتا مساعد Excel بالذكاء الاصطناعي و مساعد CSV بالذكاء الاصطناعي أكثر نوعين شائعين من الملفات. لتوثيق ملفك الأكثر فوضوية اليوم، جرب Powerdrill Bloom.

الأسئلة الشائعة

ما الفرق بين قاموس البيانات والبيانات الوصفية (metadata)؟

يصف قاموس البيانات بنية ومحتوى الحقول الفردية. بينما تعد البيانات الوصفية (metadata) أشمل، حيث تغطي من قام بإنتاج البيانات، ولماذا، وكيف تم جمعها ومعالجتها.

هل يمكنني إنشاء قاموس بيانات في Excel؟

نعم، وهو النهج المعتاد لبيانات جداول البيانات. تنشر USGS نموذجًا فارغًا لإنشاء قاموس بيانات بسيط في Excel يدويًا.

ما مدى التفصيل الذي يجب أن يكون عليه تعريف كل حقل؟

مفصلًا بما يكفي لتمكين أي شخص من خارج فريقك من استخدام العمود دون الحاجة لطرح أي سؤال. قم بتضمين القيم المسموح بها ومعنى الفراغ، لأن هذه الأمور هي التي تسبب معظم الخلافات.

من يجب أن يمتلك قاموس البيانات؟

الجهة التي تمتلك بنية البيانات، وليس من طلب التقرير. وتكمن أهمية الملكية بشكل أكبر عندما يتغير عمود ما، لأن القاموس يجب أن يتغير في نفس الوقت.

كم مرة يجب تحديث قاموس البيانات؟

كلما تغيرت البنية الأساسية للبيانات. تتعامل USGS مع القاموس القديم غير المحدث باعتباره مشكلة في الإشراف على البيانات، لأن الناس يستمرون في الوثوق بتعريفات لم تعد تطابق البيانات الفعلية.