Как создать словарь данных с помощью ИИ: бесплатное пошаговое руководство

Словарь данных — это документ, который объясняет, что на самом деле означает каждый столбец в ваших данных. Вы можете создать его на основе электронной таблицы за три шага: загрузить файл, получить описание и тип для каждого поля, а затем проверить и опубликовать результат. В этом руководстве рассказывается, что должно входить в словарь данных, как команды создают их вручную и как упростить самую рутинную часть работы.

Что такое словарь данных

Геологическая служба США (USGS) дает максимально четкое определение. В ее руководстве по управлению данными говорится, что словарь данных «используется для каталогизации и передачи структуры и содержания данных». Он «предоставляет содержательные описания для отдельных именованных объектов данных».

Два слова в этом определении имеют ключевое значение. Каталогизация означает, что в список занесено каждое поле, даже то, которое никто не использует. Передача означает, что он написан для человека, а не для базы данных.

Именно вторая часть отличает настоящий словарь данных от простого скриншота с заголовками столбцов. Заголовок с именем cust_stat_cd — это не документация. А вот строка, объясняющая, что означают эти коды, какие значения допустимы и что означает пустое поле, — это уже документация.

Большинству команд он уже нужен, хотя они об этом и не подозревают. В тот момент, когда два человека начинают спорить о том, кого считать «активным клиентом», документом, которого им не хватает, является именно словарь данных.

Что входит в словарь данных

USGS приводит типичное содержимое, и этот список достаточно короткий, чтобы использовать его в качестве чек-листа.

Элемент	Что он фиксирует
Объекты данных	Имена и определения каждого поля
Подробные свойства	Тип данных, размер, поддержка значений null, необязательность, индексы
Диаграммы	Диаграммы «сущность-связь» (ERD) и другие представления системного уровня
Справочные данные	Классификация и описательные домены
Коды качества	Коды отсутствующих данных и индикаторов качества
Бизнес-правила	Правила для проверки схемы или качества данных

Не каждому проекту нужны все шесть элементов. Для одной электронной таблицы, передаваемой между двумя командами, достаточно первых двух и пятого. Для рабочей базы данных требуются все.

Строку с кодами качества пропускают чаще всего, о чем потом больше всего жалеют. Если пустая ячейка может означать «ноль», «неизвестно» или «неприменимо», фиксация этого правила не позволит трем разным аналитикам прийти к трем разным итоговым показателям.

Зачем команды создают их

USGS называет шесть вариантов использования, и каждый из них предотвращает реальный сбой в работе.

Документирование предоставляет подробные сведения о структуре для пользователей, разработчиков и других заинтересованных сторон. Коммуникация дает людям общий словарь терминов и помогает разработчикам оценивать влияние изменений в схеме данных.

Проектирование приложений помогает разработчикам создавать формы и отчеты с правильными типами данных и элементами управления. Системный анализ позволяет аналитикам видеть общую структуру и отслеживать, где данные пересекаются с каждым процессом.

Интеграция данных — это то, что важнее всего при работе с электронными таблицами. USGS отмечает, что четкие определения «обеспечивают контекстуальное понимание, необходимое при принятии решения о том, как сопоставить одну систему данных с другой». Это же понимание определяет, «следует ли выделять подмножество, объединять, сопоставлять или преобразовывать данные для конкретного использования».

Принятие решений дополняет этот список, помогая в планировании сбора данных и другой совместной работе.

На той же странице кроется и более весомый аргумент. USGS отмечает, что словарь может выявить проблемы с достоверностью. Организация предупреждает, что «неполные определения данных могут сделать в остальном отличные данные практически бесполезными».

Требования к документированию также зафиксированы. В главе Руководства USGS по метаданным содержится требование о том, чтобы записи содержали определения сущностей и атрибутов, а также сведения о происхождении данных и ограничениях на их использование.

Как команды создают словари данных вручную

Ручной путь зависит от того, где хранятся данные, и оба варианта имеют право на жизнь.

Если они хранятся в базе данных, система может сама сгенерировать первый черновик. USGS отмечает, что большинство систем управления базами данных «имеют встроенные активные словари данных и могут генерировать документацию по мере необходимости».

Если же данные находятся в электронной таблице, генератора нет. USGS указывает на пустой шаблон «для ручного создания простого "словаря данных" в Excel», что в точности отражает текущее положение дел.

Ручная версия представляет собой одну строку на каждый столбец, заполняемую человеком, который знаком с данными. Имя поля, определение на простом языке, тип, допустимые значения, разрешены ли пустые поля и кто является владельцем.

Для экспорта из 15 столбцов это займет 20 минут. Для рабочего файла из 60 столбцов, собранного из трех систем, это превратится в работу на целые полдня, на которую ни у кого нет времени.

В чем сложность ручного подхода

Узким местом редко является само написание. Проблема в «археологии».

Половина столбцов в реальном экспорте имеют названия, которые были аббревиатурами в чьей-то голове пять лет назад. Чтобы понять, что означает flag_2, нужно открыть данные, отсортировать их и вывести правило на основе значений.

Кроме того, существует проблема устаревания данных. USGS прямо говорит о последствиях: «неспособность поддерживать словарь в актуальном состоянии в соответствии с реальными структурами данных свидетельствует о ненадлежащем управлении данными». Словарь, написанный один раз и заброшенный, хуже, чем его полное отсутствие, потому что люди ему доверяют.

Обе проблемы носят механический характер. Чтение каждого столбца, профилирование его значений и предложение типа и определения — это повторяющийся процесс. Людям это кажется скучным, и к сороковой строке они начинают допускать ошибки и неточности.

Как создать словарь данных с помощью ИИ

Шаг 1: Загрузите файл, для которого нужно создать документацию

Войдите в Powerdrill Bloom и загрузите экспортированный файл. В бесплатном тарифе поддерживаются форматы Excel, CSV, PDF и текстовые документы.

Загружайте настоящий файл, а не урезанный образец. Нетипичные значения в строках с 900 по 1100 — это обычно то самое место, где скрываются самые интересные правила.

Шаг 2: Запросите профилирование каждого поля на естественном языке

Попросите выводить по одной строке на каждый столбец. Каждая строка должна содержать определение на простом языке, предполагаемый тип данных, диапазон или уникальные значения, а также количество пустых полей. Попросите ИИ отметить любые значения, которые больше похожи на код, а не на фактические данные.

Затем разберитесь с неоднозначными моментами. Спросите, какие столбцы, по всей видимости, содержат закодированные значения и что означает каждый код. После этого вы сможете подтвердить или исправить эти данные вместе с кем-то, кто хорошо знаком с системой.

Результат на этом этапе — это лишь черновик, а не готовый документ. Его задача — избавить вас от «археологических раскопок», чтобы вам оставалось только применить экспертную оценку.

Шаг 3: Скорректируйте определения и опубликуйте результат

Проверить каждую строку и исправьте те моменты, которые может решить только человек: что именно считается активным статусом, почему расходятся два столбца с датами и какие поля являются первоисточником. Затем экспортируйте результат в виде таблицы или документа.

Сохраните его рядом с самими данными. Словарь, лежащий у кого-то в папке «Загрузки», не является документацией — это самый быстрый способ снова прийти к устареванию данных, которое вы только что исправили.

Как поддерживать пользу словаря в долгосрочной перспективе

Словарь данных приносит пользу только в том случае, если он остается актуальным, и USGS прямо говорит, как этого добиться. Планируйте заранее, добавляйте элементы по мере их выявления и обновляйте словарь при изменении структуры данных.

Три привычки помогут решить большую часть этой задачи.

Пишите определения для внешних пользователей. Если новый сотрудник не может использовать определение без дополнительных вопросов, значит, оно еще не готово.

Ведите версионность вместе с данными. При добавлении столбца или изменении его типа словарь должен обновляться одновременно, а не в следующем квартале.

Внедряйте стандарты там, где они существуют. USGS отмечает, что принятие и цитирование стандарта данных избавляет от необходимости вести собственную документацию.

Словарь также отлично сочетается с более широкой практикой согласования показателей раз и навсегда. Наше руководство по созданию единого источника правды охватывает уровень выше этого. А статья о том, как анализировать электронную таблицу, созданную кем-то другим, описывает ситуацию, которая обычно и вызывает эту необходимость.

Начните с файла, который у вас уже есть

Вы можете выполнить весь описанный выше цикл на бесплатном тарифе. Он включает загрузку файлов Excel, CSV, PDF и текстовых документов, генерацию инсайтов и сводок, а также создание базовых слайдов, документов, таблиц и изображений.

Стоит четко обозначить два ограничения. Анализ Excel и создание документов Office доступны на тарифе Pro. Бесплатный тариф включает одну запланированную задачу, поэтому для словаря, который обновляется по расписанию, потребуется платный тариф.

Если исходный файл сначала нужно привести в порядок, наша страница очистки данных с помощью ИИ описывает этот шаг. Страницы ИИ-ассистента для Excel и ИИ-ассистента для CSV посвящены двум наиболее распространенным типам файлов. Чтобы задокументировать ваш самый хаотичный экспорт уже сегодня, попробуйте Powerdrill Bloom.

Часто задаваемые вопросы

В чем разница между словарем данных и метаданными?

Словарь данных описывает структуру и содержание отдельных полей. Метаданные — это более широкое понятие, охватывающее информацию о том, кто создал данные, зачем, а также как они собирались и обрабатывались.

Можно ли создать словарь данных в Excel?

Да, и это стандартный подход для данных в электронных таблицах. USGS публикует пустой шаблон для создания простого словаря данных в Excel вручную.

Насколько подробным должно быть определение каждого поля?

Достаточно подробным, чтобы кто-то не из вашей команды мог использовать этот столбец без лишних вопросов. Укажите допустимые значения и то, что означает пустое поле, так как именно это вызывает больше всего разногласий.

Кто должен отвечать за словарь данных?

Тот, кто владеет структурой данных, а не тот, кто запросил отчет. Ответственность важнее всего при изменении столбца, поскольку словарь должен обновляться одновременно с ним.

Как часто нужно обновлять словарь данных?

Каждый раз при изменении исходной структуры. USGS рассматривает устаревший словарь как проблему управления данными, поскольку люди продолжают доверять определениям, которые больше не соответствуют действительности.