Качество данных (Data Quality)

Насколько данные полны, точны, непротиворечивы и актуальны для своей задачи; а также процессы, которые это качество проверяют и поддерживают.

Качество данных (Data Quality) — степень, в которой данные пригодны для своей задачи: отчётности, расчётов, решений, обслуживания клиентов. Так же называют и процессы, которые это качество измеряют и поддерживают: проверки, очистку, устранение дублей и контроль на входе. Ошибки в данных переходят в отчёты, налоговые расчёты и модели, поэтому управление качеством данных — обязательная часть любой системы, которая собирает информацию из нескольких источников.

Бизнес и разработчики говорят на разных языках: как бизнес-аналитик помогает избежать дорогих переделок. Один из примеров — налоговая отчётность банка: главная сложность оказалась не в отчёте, а в данных, разбросанных по десяткам систем, с дублями и разными форматами.

Читать статью

Критерии качества данных

  • Полнота — заполнены ли обязательные поля и все ли записи на месте.
  • Точность — соответствуют ли данные действительности: верный ИНН, правильная сумма.
  • Непротиворечивость — совпадают ли сведения об одном объекте в разных системах.
  • Уникальность — нет ли дублей: один клиент — одна запись.
  • Актуальность — насколько свежие данные и успевают ли они к сроку.
  • Корректность формата — даты, коды и номера записаны по единым правилам.

Критерии и подходы к ним описаны в международной серии стандартов ISO 8000 и в своде знаний DAMA-DMBOK по управлению данными.

Как управляют качеством данных

  1. Профилирование. Данные изучают: сколько пустых значений, дублей, нестандартных форматов в каждом источнике.
  2. Правила. Для каждого поля и связи задают проверки: обязательность, формат, допустимые значения, связь с другими таблицами.
  3. Очистка и сопоставление. Исправляют форматы, объединяют дубли, сопоставляют записи об одном человеке или компании из разных систем.
  4. Контроль на входе. Проверки встраивают в загрузку данных, чтобы ошибки не попадали в хранилище и витрины данных.
  5. Мониторинг. Показатели качества считают регулярно и разбирают отклонения с владельцами источников.

Простая проверка на дубли и пустые значения в базе данных, например PostgreSQL:

-- SQL
-- один ИНН в разных записях
SELECT inn, COUNT(*) AS n
FROM clients
GROUP BY inn
HAVING COUNT(*) > 1;
-- записи без даты рождения
SELECT COUNT(*)
FROM clients
WHERE birth_date IS NULL;

Где это особенно важно

В банках данные о клиенте хранятся в АБС, кадровой, депозитарной и других системах, и для налоговой и регуляторной отчётности их нужно свести без расхождений и в срок, установленный SLA. При миграции на новую систему плохие данные переезжают вместе с хорошими, если их не проверить заранее. А машинное обучение на ошибочных данных даёт ошибочные прогнозы.

На что обратить внимание

  • У каждого набора данных должен быть владелец, который отвечает за его качество.
  • Исправлять ошибки лучше в источнике, а не только в отчёте, иначе они вернутся при следующей загрузке.
  • Правила качества стоит описывать в требованиях к системе так же, как функции.

Качество данных в проектах КПР

В системе налоговой отчётности по НДФЛ для крупного банка команда КПР построила процессы Data Quality: идентификацию налогоплательщиков, очистку и удаление дублей, приведение данных из 25+ источников к единым форматам. Система обрабатывает около 5 млн налогоплательщиков и 50 млн налоговых документов в год (кейс). Подробнее — на странице «Бизнес- и системный анализ, цифровизация бизнес-процессов».