Качество данных (Data Quality)
Насколько данные полны, точны, непротиворечивы и актуальны для своей задачи; а также процессы, которые это качество проверяют и поддерживают.
Качество данных (Data Quality) — степень, в которой данные пригодны для своей задачи: отчётности, расчётов, решений, обслуживания клиентов. Так же называют и процессы, которые это качество измеряют и поддерживают: проверки, очистку, устранение дублей и контроль на входе. Ошибки в данных переходят в отчёты, налоговые расчёты и модели, поэтому управление качеством данных — обязательная часть любой системы, которая собирает информацию из нескольких источников.
Бизнес и разработчики говорят на разных языках: как бизнес-аналитик помогает избежать дорогих переделок. Один из примеров — налоговая отчётность банка: главная сложность оказалась не в отчёте, а в данных, разбросанных по десяткам систем, с дублями и разными форматами.
Критерии качества данных
- Полнота — заполнены ли обязательные поля и все ли записи на месте.
- Точность — соответствуют ли данные действительности: верный ИНН, правильная сумма.
- Непротиворечивость — совпадают ли сведения об одном объекте в разных системах.
- Уникальность — нет ли дублей: один клиент — одна запись.
- Актуальность — насколько свежие данные и успевают ли они к сроку.
- Корректность формата — даты, коды и номера записаны по единым правилам.
Критерии и подходы к ним описаны в международной серии стандартов ISO 8000 и в своде знаний DAMA-DMBOK по управлению данными.
Как управляют качеством данных
- Профилирование. Данные изучают: сколько пустых значений, дублей, нестандартных форматов в каждом источнике.
- Правила. Для каждого поля и связи задают проверки: обязательность, формат, допустимые значения, связь с другими таблицами.
- Очистка и сопоставление. Исправляют форматы, объединяют дубли, сопоставляют записи об одном человеке или компании из разных систем.
- Контроль на входе. Проверки встраивают в загрузку данных, чтобы ошибки не попадали в хранилище и витрины данных.
- Мониторинг. Показатели качества считают регулярно и разбирают отклонения с владельцами источников.
Простая проверка на дубли и пустые значения в базе данных, например PostgreSQL:
-- SQL
-- один ИНН в разных записях
SELECT inn, COUNT(*) AS n
FROM clients
GROUP BY inn
HAVING COUNT(*) > 1;
-- записи без даты рождения
SELECT COUNT(*)
FROM clients
WHERE birth_date IS NULL;
Где это особенно важно
В банках данные о клиенте хранятся в АБС, кадровой, депозитарной и других системах, и для налоговой и регуляторной отчётности их нужно свести без расхождений и в срок, установленный SLA. При миграции на новую систему плохие данные переезжают вместе с хорошими, если их не проверить заранее. А машинное обучение на ошибочных данных даёт ошибочные прогнозы.
На что обратить внимание
- У каждого набора данных должен быть владелец, который отвечает за его качество.
- Исправлять ошибки лучше в источнике, а не только в отчёте, иначе они вернутся при следующей загрузке.
- Правила качества стоит описывать в требованиях к системе так же, как функции.
Качество данных в проектах КПР
В системе налоговой отчётности по НДФЛ для крупного банка команда КПР построила процессы Data Quality: идентификацию налогоплательщиков, очистку и удаление дублей, приведение данных из 25+ источников к единым форматам. Система обрабатывает около 5 млн налогоплательщиков и 50 млн налоговых документов в год (кейс). Подробнее — на странице «Бизнес- и системный анализ, цифровизация бизнес-процессов».