Внедрение датацентричного подхода начинается с наведения порядка в данных

О том, почему хранилище - идеальная платформа для подготовки данных для надзорных целей, «Б.О» рассказал генеральный директор «Интерсофт Лаб» Валерий Чаусов.

- Валерий, финансовая отрасль шаг за шагом примеряет на себя датацентричный подход к регулированию. В связи с этим стоит ли банкам ожидать серьезных технологических перемен?

Думаю, что радикальных реформ ждать не стоит. Еще несколько лет назад регулятор анонсировал постепенный переход банков от формацентричного подхода к датацентричному. И сейчас мы наблюдаем плавное, без резких скачков, движение в сторону сбора информации от кредитных организаций на основе единой модели данных.

В отличие от истории с XBRL в НФО, когда внедрялось всё и сразу, в банках разработка единой референсной модели ведётся по предметным областям. Первый важный шаг в этом направлении – ТИД^[1] «Ссуды».

Финальная версия ТИД ожидается в ноябре, но совместная работа над ней Банка России и кредитных организаций ведется уже несколько месяцев. Поэтому информация поступает, и уже очевидно, что применение ТИД не приведет к технологической революции. В этой области перемены тоже будут происходить постепенно. Тем более, что решение об использовании ТИД каждый банк принимает добровольно.

- Так к каким технологическим новшествам готовиться банкам в ближайшее время?

Давайте оттолкнемся от целей. Датацентичный подход – это, когда регулятор получает от банков не данные по формам отчетности, а поток первичных данных согласно референсной модели. ТИД – в самом простом понимании – это описание части модели, которая консолидирует атрибутный состав для определенной области деятельности банка.

Предполагается, что на данном этапе вместе с ТИД банки будут получать описание проверок качества данных и алгоритмов расчета показателей для форм отчетности, которые опираются на ТИД. Такой набор информации по своей сути соответствует техническому заданию на автоматизацию пакета отчетных форм. Причем в нем уже проведена оптимизационная работа: исключено дублирование расчетов и показателей, а состав данных ТИД покрывает подготовку всех заданных форм.

Таким образом, внедрение датацентричного подхода начинается с наведения порядка в данных. Проще говоря, после получения ТИД банк должен провести инвентаризацию данных, чтобы понять, какие данные и откуда – из каких источников – надо получать, чтобы соответствовать ей. И эта задача будет возникать при любом изменении регуляторных требований или модернизации учетных систем банка. Поэтому целесообразно наладить процесс мониторинга данных и контроля их соответствия сначала ТИД, а в перспективе – полной референсной модели данных.

Для этого необходимо специализированное ПО. Можно использовать автономные системы управления данными, так называемые Data Governance (сокр. DG). Они служат исключительно для описания данных. Или такой функционал может быть частью платформы для создания хранилища данных и подготовки отчетности на его основе. На мой взгляд, второй подход более оправдан.

- Почему?

Как минимум, он исключает дублирование функций описания данных, сначала в системе управления данными, а потом в системе подготовки отчетности. Хотя DG как рабочее место директора по данным, безусловно, имеет свою ценность.

Но если смотреть на задачу мониторинга и контроля данных в контексте подготовки регуляторной отчетности, то хранилище данных гораздо больше готово к ее решению.

Во-первых, оно опирается на модель данных. Достаточно настроить эту модель согласно ТИД, чтобы автоматически контролировать достаточность данных, которые собираются в хранилище в регуляторных целях. Благодаря системе управления метаданными все загруженные данные могут быть описаны в тех терминах, которыми оперируют методические рекомендации регулятора и ТИД.

Во-вторых, в хранилище встроены проверки данных. Они выполняются при загрузке данных и после нее. Если обеспечить соответствие процедур в хранилище требованиям к проверкам для ТИД, можно поставить контроль качества данных «на автомат».

Наконец, хранилище оснащено инструментами обогащения данных. Они помогают автоматически сгенерировать в хранилище часть недостающих данных, если удается отыскать алгоритмы их создания. Это, конечно, не панацея, но в отдельных случая может оказаться очень полезным.

Вообще в зрелых платформах хранилищ данных накоплено много ценного, в том числе для решения регуляторных задач. Например, в хранилище «Контур» фиксируется история изменения всех данных и правил их обработки во времени, и сохраняется «аудиторский след». Это тоже важное для регуляторных целей свойство хранилища данных.

- А почему не поручить мониторинг и контроль данных АБС?

Отчасти эту задачу можно решать и в основной банковской системе. Однако, вряд ли найдутся кредитные организации, в которых все данные, необходимые для регуляторных целей, хранятся в одной только АБС. Практически всегда в банках больше одного источника данных. А хранилище, как известно, инструмент для консолидации.

Конечно, в учетные модули встроены контроли при вводе данных. Но они решают очень узкую задачу. Этих проверок хватает, чтобы заполнить договор или как-то иначе оформить услугу. Но для корректной подготовки всей банковской отчетности их недостаточно. Самый очевидный пример: в АБС не выполняется сверка данных бухгалтерского и оперативного учета.

Теоретически, можно расширить состав проверок в АБС. Но это, скорее всего, негативно отразится на её производительности и увеличит время обслуживания клиентов. Одним словом, каждая ИТ-система должна решать свои задачи: АБС обрабатывать транзакции и выполнять несложные запросы, а хранилище – готовить качественные данные для отчетности.

- Почему же тогда хранилища данных до сих пор не стали главным инструментом для подготовки обязательной отчетности?

Первая причина - целесообразность. Хранилище – идеальная платформа для подготовки отчетов, которые требуют консолидации данных из разных учетных систем, хранения истории их изменения и ресурсоемких вычислений. Но нет особого смысла переводить в хранилище выпуск оперативных отчетов по данным главной книги. Это оправдано только, если АБС банка не поддерживает централизованную работу.

Вторая причина - в использовании банками иностранных платформ для хранилищ данных. Атрибутный состав западных моделей не позволял применять их для регуляторных целей. Поэтому в основном из таких хранилищ готовили внутреннюю отчетность.

Третья, главная, причина – наследие прошлого. В каждом банке годами под влиянием разных факторов складывалось уникальное распределение форм между АБС, электронными таблицами и хранилищем данных. Эффективность у таких конфигураций разная, но процессы налажены. Смена привычной технологии – это всегда болезненно, а построение хранилища данных и перенос в него подготовки сложных форм – еще и трудоемко и затратно. Поэтому решения об открытии проектов автоматизации регуляторной отчетности на базе хранилищ данных принимаются долго и трудно.

И все же когда-то критическая масса достигается. Возможно сейчас тот самый переломный момент, когда параллельно с переводом наработанных банками решений на отечественные программные компоненты стоит поменять сложившийся уклад в подготовке регуляторной отчетности. И сразу выбрать архитектуру на базе хранилища данных, чтобы поддержать датацентричный подход. Начать можно с поддержки первой ТИД «Ссуды» и автоматизации пакета форм на её основе.

В целом, убежден, что за хранилищами будущее автоматизированного сбора данных для надзорных целей.

- Насколько хранилище данных «Контур» готово к автоматизации отчетности на базе ТИД?

Совершенно готово. Дело в том, что предложенный Банком России подход с использованием ТИД полностью соответствует идеологии автоматизации отчетности на платформе «Контур». Проектный опыт привел нас к необходимости объединять детальные данные по предметным областям, чтобы выпускать на их основе «родственную» отчетность.

Тиражная витрина данных «Кредитный портфель» для хранилища «Контур» - готовый рабочий прототип ТИД «Ссуды». На ее основе уже сегодня в банках готовятся формы 0409115, 0409303, 0409310, 0409316 и выгрузка данных для Бюро кредитных историй. Поэтому для нас это понятная тема, и уже реализованный и проверенный в деле функционал.

Мы ждём только финальных требований к ТИД, чтобы гарантировать полное соответствие им атрибутного состава нашей витрины, проверок качества данных и расчетных алгоритмов. Добавлю, что финансовая модель хранилища данных «Контур» полностью соответствует мартовским методическим рекомендациям Банка России 5-МР. Поэтому серьезных уточнений нашего решения в ноябре мы не предполагаем.

Источник: Банковское обозрение