Витрина данных (Data Mart)

Подготовленный набор данных под конкретную задачу — отчет, подразделение или внешний запрос, — который быстро читается и не нагружает исходные системы.

Витрина данных (Data Mart) — набор данных, заранее собранный и подготовленный под конкретную задачу: отчетность подразделения, расчет показателя, ответы на внешние запросы. В учетных системах данные хранятся в неудобном для анализа виде; витрина берет из них нужное, очищает, объединяет и хранит так, что отчет строится одним простым запросом.

Зачем нужны витрины

  • Скорость. Тяжелые расчеты выполняются заранее, например ночью, а пользователь получает готовый результат за секунды.
  • Нагрузка. Аналитические запросы не тормозят учетную систему, в которой работают сотрудники и клиенты.
  • Единые цифры. Показатель считается один раз и одинаково для всех отчетов, а не по-своему в каждой выгрузке.
  • Доступ. Подразделению или внешнему потребителю открывают только его витрину, а не всю базу.

Хранилище и витрины

В классической схеме данные из источников сначала собираются в корпоративное хранилище данных (DWH), а уже из него строятся витрины под отдельные задачи: кредитные риски, обязательная отчетность, продажи. Хранилище хранит все и подробно, витрина — только то, что нужно одной задаче, и в удобном для нее виде.

Пример витрины данных

-- SQL: витрина остатков по клиентам на конец дня
CREATE TABLE dm_client_balance AS
SELECT c.client_id,
       c.segment,
       SUM(a.balance) AS total_balance,
       COUNT(*)       AS accounts
FROM   accounts a
JOIN   clients  c ON c.client_id = a.client_id
WHERE  a.closed_at IS NULL
GROUP  BY c.client_id, c.segment;

Отчет «остатки по сегментам» теперь читает одну небольшую таблицу вместо соединения миллионов строк. Витрины обновляют по расписанию, ускоряют индексами и кэшированием, а хранят в PostgreSQL, колоночных СУБД или специализированных хранилищах.

Витрины данных в госсекторе

В государственных системах у витрины есть еще одна роль. В СМЭВ 4 ведомство публикует сведения на своей витрине, а другие ведомства и организации получают их прямым запросом к витрине вместо обмена сообщениями. Состав витрин описывается в национальной системе управления данными (НСУД), чтобы одни и те же сведения везде назывались и понимались одинаково.

ETL и ELT: как данные попадают в витрину

Загрузку данных называют ETL: извлечь (extract) из источников, преобразовать (transform) — очистить, привести к единым справочникам, посчитать показатели — и загрузить (load) в хранилище и витрины. В варианте ELT данные сначала загружают как есть, а преобразуют уже внутри хранилища средствами СУБД — так проще повторить расчет, если правила изменились. Загрузку запускают по расписанию, например после закрытия банковского дня, или потоком: изменения из учетной системы сразу передаются через Apache Kafka. Готовые инструменты — Apache Airflow для расписаний и зависимостей, Apache NiFi, Informatica; простые загрузки пишут на SQL.

Как создать витрину данных

  1. Определить задачу и потребителей: какой отчет или расчет строится на витрине, кто ею пользуется и как часто.
  2. Описать показатели и источники: что значит каждая цифра, из каких систем и таблиц она берется.
  3. Спроектировать структуру: одна широкая таблица под отчет или «звезда» — таблица фактов и справочники-измерения.
  4. Разработать загрузку: ETL-процесс с проверками качества и журналом ошибок.
  5. Сверить с источниками и с отчетами, которые раньше готовили вручную.
  6. Поставить на расписание и мониторинг: сроки обновления, оповещения о сбоях, история изменений.

Что важно при проектировании

  • начинать с вопросов бизнеса: какие отчеты и решения будут опираться на витрину;
  • договориться об определениях — что именно считается «активным клиентом» или «просрочкой»;
  • заложить контроль качества данных: сверку с источниками, проверки на пропуски и дубли;
  • рассчитать время обновления: витрина должна успеть пересчитаться до начала рабочего дня.

Витрины в проектах КПР

КПР проектирует хранилища и витрины данных для банков и госсектора. В одном из проектов модуль загрузки ежедневно обрабатывает от сотен миллионов до миллиардов записей, а 45 витрин при закрытии банковского дня формируются не более чем за два часа. Подробнее — на странице «Бизнес- и системный анализ, цифровизация бизнес-процессов».