Витрина данных (Data Mart)
Подготовленный набор данных под конкретную задачу — отчет, подразделение или внешний запрос, — который быстро читается и не нагружает исходные системы.
Витрина данных (Data Mart) — набор данных, заранее собранный и подготовленный под конкретную задачу: отчетность подразделения, расчет показателя, ответы на внешние запросы. В учетных системах данные хранятся в неудобном для анализа виде; витрина берет из них нужное, очищает, объединяет и хранит так, что отчет строится одним простым запросом.
Зачем нужны витрины
- Скорость. Тяжелые расчеты выполняются заранее, например ночью, а пользователь получает готовый результат за секунды.
- Нагрузка. Аналитические запросы не тормозят учетную систему, в которой работают сотрудники и клиенты.
- Единые цифры. Показатель считается один раз и одинаково для всех отчетов, а не по-своему в каждой выгрузке.
- Доступ. Подразделению или внешнему потребителю открывают только его витрину, а не всю базу.
Хранилище и витрины
В классической схеме данные из источников сначала собираются в корпоративное хранилище данных (DWH), а уже из него строятся витрины под отдельные задачи: кредитные риски, обязательная отчетность, продажи. Хранилище хранит все и подробно, витрина — только то, что нужно одной задаче, и в удобном для нее виде.
Пример витрины данных
-- SQL: витрина остатков по клиентам на конец дня
CREATE TABLE dm_client_balance AS
SELECT c.client_id,
c.segment,
SUM(a.balance) AS total_balance,
COUNT(*) AS accounts
FROM accounts a
JOIN clients c ON c.client_id = a.client_id
WHERE a.closed_at IS NULL
GROUP BY c.client_id, c.segment;
Отчет «остатки по сегментам» теперь читает одну небольшую таблицу вместо соединения миллионов строк. Витрины обновляют по расписанию, ускоряют индексами и кэшированием, а хранят в PostgreSQL, колоночных СУБД или специализированных хранилищах.
Витрины данных в госсекторе
В государственных системах у витрины есть еще одна роль. В СМЭВ 4 ведомство публикует сведения на своей витрине, а другие ведомства и организации получают их прямым запросом к витрине вместо обмена сообщениями. Состав витрин описывается в национальной системе управления данными (НСУД), чтобы одни и те же сведения везде назывались и понимались одинаково.
ETL и ELT: как данные попадают в витрину
Загрузку данных называют ETL: извлечь (extract) из источников, преобразовать (transform) — очистить, привести к единым справочникам, посчитать показатели — и загрузить (load) в хранилище и витрины. В варианте ELT данные сначала загружают как есть, а преобразуют уже внутри хранилища средствами СУБД — так проще повторить расчет, если правила изменились. Загрузку запускают по расписанию, например после закрытия банковского дня, или потоком: изменения из учетной системы сразу передаются через Apache Kafka. Готовые инструменты — Apache Airflow для расписаний и зависимостей, Apache NiFi, Informatica; простые загрузки пишут на SQL.
Как создать витрину данных
- Определить задачу и потребителей: какой отчет или расчет строится на витрине, кто ею пользуется и как часто.
- Описать показатели и источники: что значит каждая цифра, из каких систем и таблиц она берется.
- Спроектировать структуру: одна широкая таблица под отчет или «звезда» — таблица фактов и справочники-измерения.
- Разработать загрузку: ETL-процесс с проверками качества и журналом ошибок.
- Сверить с источниками и с отчетами, которые раньше готовили вручную.
- Поставить на расписание и мониторинг: сроки обновления, оповещения о сбоях, история изменений.
Что важно при проектировании
- начинать с вопросов бизнеса: какие отчеты и решения будут опираться на витрину;
- договориться об определениях — что именно считается «активным клиентом» или «просрочкой»;
- заложить контроль качества данных: сверку с источниками, проверки на пропуски и дубли;
- рассчитать время обновления: витрина должна успеть пересчитаться до начала рабочего дня.
Витрины в проектах КПР
КПР проектирует хранилища и витрины данных для банков и госсектора. В одном из проектов модуль загрузки ежедневно обрабатывает от сотен миллионов до миллиардов записей, а 45 витрин при закрытии банковского дня формируются не более чем за два часа. Подробнее — на странице «Бизнес- и системный анализ, цифровизация бизнес-процессов».