Power BI стоит сотни тысяч рублей в год и требует лицензию на каждого пользователя. ClickHouse + Apache Superset — с открытым кодом и в разы быстрее. Разбор миграции.
Что было
PostgreSQL, отчёты строились 2–3 минуты, дата-инженеры ждали по 2 недели на срез. Power BI: 400 000 ₽/год лицензий.
Что стало
ClickHouse с LZ4 читает 30 млн событий за 85 мс. Superset даёт маркетологам самостоятельный режим без SQL. Лицензии: 0 ₽. Затраты — серверы и время инженеров.
Схема миграции
Этап 1: ClickHouse рядом с базой данных, синхронизация изменений через Debezium. Этап 2: перенос отчётов в Superset, обучение маркетологов. Этап 3: отключение старых отчётов, ClickHouse — единственный источник аналитики. Каждый этап — 3–4 недели.
Ключевые решения
Разбиение по дате с TTL 3 года — старые партиции на медленные диски. Материализованные представления для топ-10 отчётов — обновление раз в час, чтение за миллисекунды. Словари для справочников — в памяти, JOIN мгновенный.
Проблема: ClickHouse любит денормализованные данные. JOIN на больших объёмах медленнее, чем в PostgreSQL. Решение: словари через dictGet, загрузка справочников раз в час в память.
Безопасность
Разграничения доступа по строкам в привычном виде нет. Для 152-ФЗ: отдельные базы данных для ролей + колоночное шифрование SipHash для чувствительных полей. Клиенты видят агрегаты, персональные данные в ClickHouse не хранятся.
Метрики
Стоимость аналитики: ×10 снижение. Скорость отчётов: с 2–3 минут до 85–120 мс. Самостоятельные отчёты: с 0 до 85%. Время на гипотезу: с 14 дней до 2 часов. Команда: без изменений (2 дата-инженера).
Когда ClickHouse НЕ нужен
Меньше 1 млн событий в сутки и простые запросы — PostgreSQL справится. Выигрыш от 10 млн событий в сутки или сложных аналитических запросов.
Чек-лист миграции
- Оцените объём данных и сложность запросов.
- Выберите инструмент захвата изменений (Debezium / Kafka Connect).
- Настройте синхронизацию в тестовой среде.
- Перенесите 10 важных отчётов.
- Обучите аналитиков Superset.
- Проверьте резервные копии и восстановление.
- Замерьте скорость до и после.
- Отключайте старое через 2 недели стабильной работы нового.
Выводы
ClickHouse — лучший выбор среди решений с открытым кодом для аналитики. Миграция окупается за 6–12 месяцев. Мигрируйте под конкретную задачу: рост объёма, скорость, отказ от лицензий.