КУМБА! Эффективное внедрение BI-аналитики

Тизер)

Мы у себя все отчёты по продажам и финансам выстроили в Microsoft Power BI. Так же ведём сопровождение нескольких клиентов на ней. Но с текущей ситуацией постоянно задумываемся над тем, а что, собственно, из отечественного выбрать. И вот об этом наш последний эфир (не крайний, а последний) текущего года.

Немного о спикере. С Евгением Стучалкиным знакомы с 2017 года. Тогда он делал крутую аналитику по продажам на базе BI от Qlik Sense. Рекомендую всем аналитикам по CRM посмотреть вот эти его видео. По сути Евгений был главным экспертом в России по Qlik Sense. И вот теперь обсудим с ним, а что там на отечественном рынке BI-систем происходит. И, конечно, затронем вопросы методологии внедрения корпоративной аналитики. Для интеграторов такая аналитика - это путь к кратному увеличению стоимости проектов внедрения CRM, а для бизнеса - это вечная мечта иметь все ключевые показатели на нескольких дашбордах.

В общем, обязательно подключайтесь во вторник в 16.00 к нашему прямому эфиру (добавить в календарь Яндекс, Google). Будет полезно! И подписывайтесь на телеграм-канал Евгения

Всем привет! Завтра на эфире с моим коллегой из интеграторского CRM-сообщества проведем эфир. На нем я подытожу результаты и выводы по инструментам и подходам внедрения BI за 2024 год - самый насыщенный год в моей карьере. Будет полезно для тех, кто еще не сориентировался в российском аналитическом инструментарии. А также для тех кто хочет строить карьеру в области анализа данных в коммерческих предприятиях.

Финал гастролей в этом году: https://rubiconf.ru/ 14 ноября.

С докладом выступит Ольга Нестеренко (тема прежняя - монетизация данных + перенос компетенций по BI от подрядчика в штат, но с бОльшим уклоном в сторону визуализации данных).

Я же буду участвовать в секции "РУБИЛОВО". Обсудим всякие острые BI-темы)

Запись моего выступления на https://russianbiforum.ru/

Рассказываю на как за чуть больше чем 1 год компания PARUS AM перешла от аутсорса разработки аналитических решений к штатной команде из 3-х человек, набранных с нуля. И о финансовых результатах этого подхода. Также, раскрываем тему импортозамещения в BI-аналитики (в частности, миграция с Qlik Sense).

Обращаю внимание, что представленные подходы не только являются средством повышения прибыльности бизнеса, но и обеспечивают быстрый карьерный рост штатным аналитикам.

https://vk.com/video77606249_456239151

И еще момент: в Clickhouse нельзя предусмотреть оптимальные настройки для всех возможных моделей заранее. Поэтому в настройках генерации есть ряд настроек, которые можно подкрутить, чтобы добиться более производительной работы таблицы. Однако если вы этого не сделаете - произойдет автоопределение некоторых параметров, и при полном игноре вопросов оптимизации у вас всеравно будет в некоторой степени оптимизированная модель.

И более тонко донастроить это можно по мере потребностей

Доклад с натурных испытаний генерации BI-моделей данных в Clickhouse.

Как вы (возможно) помните, в предлагаемой мной архитектуре аналитического ландшафта результатом очистки данных становятся "эталонные" таблицы в аналитическом хранилище. Это таблицы фактов, справочники, а иногда факты, содержащие вшитые справочники (денормализованные структуры.

За счет соблюдения конвенции нейминга ключевых полей (все ключевые поля называются одинаково, для каждой таблицы определен первичный ключ (если он есть)), мы не озадачиваемся проработкой единой логики связи - она формируется сама по мере наполнения АХД.

Но даже в этом случае, АХД не является удобным источником для подключения BI. Прежде всего потому, что для полноценного построения модели данных из АХД нужно чтобы BI умел в реляционные модели (а это только Power BI). А для остальных BI, которые в качестве модели используют Звезду той или иной формы, нужен дополнительный процесс:

1) Сборки фактов и связей в центральную таблицу показателей и связей;

2) Для некоторых блоков показателей нужно восстанавливать связи, присоединяя ключи, чтобы добраться до таблиц, связанных не напрямую.

Например, сделки связаны с контактами, контакты с компаниями - в Звезде к сделкам нужно приджойнить связь с компаниями, чтобы показатели сделок можно было анализировать в разрезе компаний.

Поэтому мы также забираем на свою сторону процесс сборки моделей: пользователь может выбрать из каких таблиц/полей он хочет собрать модель, наш алгоритм сгенерит запрос для СУБД, и там появится плоская таблица/звезда, с учетом хитросплетений конкретно взятых таблиц. Обеспечивая одинаковый опыт работы с данными в любой аналитической системе или визуализаторе.

Но главный вызов был не в том, чтобы это продумать и реализовать, т.к. с 2019 года все было продумано и реализовано на Qlik

Мы уже вышли из яслей Qlik, где такой запрос имел достаточно простой вид и однозначную реализацию, и попали на поляну Clickhouse. Где важно не только что получается в итоге, но и как оно получается.

Первый прототип появился весной 2022 года, и строил модель на 150 000 строк примерно секунд 30. Это позволило подтвердить гипотезу о пригодности подхода, но совершенно очевидно, не могло быть продуктовым решением.

В эту пятницу была протестирована новая версия алгоритма, который разрабатывался при поддержке топового спеца по Clickhouse Сергея Платонова.

Модель данных в виде плоской таблицы, на основе 13 таблиц из АХД, 139 полей, 21,5 млн строк - формируется за 3 минуты. Что быстрее аналогичного процесса в Qlik примерно в 3 раза. И это еще не вся оптимизация реализована!

Для сравнения, предыдущая итерация этой же задачи на объеме данных в полтора раза меньше составила 20 минут.

В файлике приложен пример сгенерированного запроса сборки моделей. Это SQL-запрос на 800+строк, который нам не нужно:

0) Уметь писать;
1) Писать;
2) Поддерживать;
3) Обеспечивать единообразие с другими моделями.

И это не говоря о массе реализованных удобств, которые при работе с моделями и АХД позволяют избегать ситуация в духе "BI пытается прочитать данные из таблицы, которая находится в процессе перезаписи"

Пишу кейс для выступления на https://russianbiforum.ru/.

Как изменился за год ландшафт данных в аналитике. Кстати силами ребят, которые на момент старта работы про BI-разработку и хранилища особо ничего и не знали)

Можно сказать, наглядная иллюстрация к опросу выше.

Про грядущий мастер-класс немного подробнее:

1) О чем: как создать инфраструктуру для быстрой, надежной, масштабируемой разработки корп. аналитики, а также встраиваемой аналитики для внешних потребителей, силами штатных специалистов. Без ограничений по BI-платформам.

2) Для кого: ИТ-директора; Менеджмент, который видит точки роста в более быстрой, глубокой, системной работе с данными; Аналитики, которые хотят занять более высокую позицию в компании.

3) Для каких компаний: Средний бизнес; Производственные компании (большой штат в целом, но ограниченная ИТ-команда); Подразделения крупного бизнеса, которым нужна бОльшая автономность в их проектах.

Построение корпоративной аналитической системы - это не только выбор платформы. Это организация множества процессов работы с данными, которые намного шире чем "взять BI, сделать дашборд".
К таким процессам относятся:
- построение аналитического хранилища;
- его систематизированное ведение;
- мониторинг качества данных и оповещения об инцидентах;
- документирование аналитической архитектуры;
- поддержание единой модели данных;
- и много чего еще.

Если не уделять этому внимание, скорость разработки снижается в несколько раз, и даже появляются риски попасть на переделку того, что разрабатывалось ранее. Потому что новые требования не вписались в старые подходы.

Обычно, носителем такой экспертизы является компания-интегратор, т.к. у нее есть опыт реализации десятков проектов. Однако работа с интегратором не всегда удобна в подобных проектах, потому что:
- Требования к аналитике меняются быстрее чем идет реализация проекта;
- У интегратора не бесконечные ресурсы под ваш проект;
- Не все интеграторы работают системно. Экономят на архитектуре, и на выходе получается запутанный клубок.

Логично предположить, что наличие в штате человека с такой экспертизой должно снять эти проблемы. Но таких специалистов в целом мало на рынке. А за тех что есть, идет конкуренция в т.ч. с компаниями типа Сбер, Росгосстрах, Газпром, и другими титанами бизнеса. Кроме того, не всегда такую экспертизу можно получить в одном человеке.

Так что же, теперь нужно отказаться от аналитических амбиций, или брать на себе чрезмерные кадровые риски? Вовсе нет, потому что еще один способ получить эту экспертизу себе в компанию - моя разработка "Пакет монетизации данных" для Loginom. Она позволяет выстроить систематизированную разработку и полностью покрывает задачи управления данными для компаний, перечисленными в п.2. При этом без избыточного количества систем, которые используются для решения этих задач в компаниях типа Сбера.

В итоге, объединяя знания о компании штатных аналитиков и готовую инфраструктуру и управление данными, вы получаете результаты на уровне компании-интегратора с опытом десятков проектов, просто следуя простым инструкциям. На своем выступлении я покажу кейс на примере одного из клиентов. А на мастер-классе покажу как выглядит весь процесс с нуля. А также расскажу, как вы можете испытать эти решения у себя.