Базы данных

Анализ производительности ClickHouse в аналитических запросах по продажам

Цель исследования:

• Реализация алгоритма расчета маржинальности абонентов на базе ClickHouse (onPremise) с использованием Java.
• Проверка производительности системы на сгенерированных данных объемом, сопоставимым с реальным.
• Сравнение производительности с оригинальным решением на базе SAP HANA.
• Демонстрация возможности применения ClickHouse для сложных расчетов в телекоммуникационной отрасли.

Выводы:

1. ClickHouse в сочетании с Java доказал свою пригодность для сложных расчетов, таких как вычисление маржинальности абонентов.
2. Производительность системы соответствует требованиям заказчика, что делает возможным ее использование в реальных сценариях.
3. Проект продемонстрировал, что ClickHouse может служить экономически выгодной альтернативой SAP HANA.

Результат
Реализация алгоритма:

• алгоритм успешно адаптирован для работы с ClickHouse;
• использование Java позволило упростить взаимодействие между алгоритмом и ClickHouse, обеспечив гибкость и скорость работы.

Производительность:

• реализация на Java + ClickHouse показала значительно лучшую производительность, чем на SAP HANA;
• Заказчик остался удовлетворен результатами.

Масштабируемость:

• система продемонстрировала высокую стабильность при увеличении объема данных;
• ClickHouse эффективно справляется с большими объемами аналитической нагрузки.

Экономическая эффективность:
замена SAP HANA на ClickHouse обеспечивает снижение расходов при сохранении высокой производительности.

Анализ производительности ClickHouse в аналитических запросах по продажам

Цель исследования:

• оценка производительности аналитических запросов в ClickHouse (onPremise) при обработке данных объемом, сопоставимым с реальными.
• проверка масштабируемости распределенного (шардированного) кластера ClickHouse.
• анализ влияния ресурсов серверов (объем памяти, количество ядер процессоров) на производительность.
• разработка подхода к разграничению доступа к данным.

Выводы:

1. Горизонтальное масштабирование ClickHouse доказало свою эффективность для обработки больших объемов данных.
2. Оптимизация конфигурации серверов (память, процессоры) существенно влияет на время выполнения запросов.
3. Разработанный подход к разграничению доступа обеспечивает защиту данных и удобство работы пользователей.

Результат
Выполнение запросов:

• достигнуто укладывание в заданные временные рамки выполнения аналитических запросов;
• приемлемые результаты даже при увеличении количества пользователей в параллельном режиме.

Потребление ресурсов:

• четкая корреляция между объемом памяти/количеством ядер и временем выполнения запросов;
• горизонтальное масштабирование позволило достичь высокой производительности при увеличении объема данных.

Безопасность данных:
реализован механизм разграничения доступа на уровне запросов, обеспечивающий защиту данных пользователей.

Сравнительный анализ файловых систем Apache Ozone и HDFS

Цель исследования:

• Сравнение производительности файловых систем Apache Ozone и HDFS.
• Оценка преимуществ каждой системы в различных сценариях работы.
• Анализ возможностей Apache Ozone для обработки больших объемов данных и их поведения при увеличении нагрузки.
• Проверка соответствия Apache Ozone требованиям Business Critical систем заказчика

Выводы:

1. Apache Ozone показал лучшие результаты при работе с большими объемами данных и в условиях высокой нагрузки.
2. HDFS сохраняет высокую эффективность для традиционных операций и сценариев с небольшими объемами данных.
3. Apache Ozone демонстрирует большую гибкость и устойчивость, что делает его перспективным выбором для задач, требующих высокой масштабируемости и надежности.

Результат
Производительность операций:

• HDFS продемонстрировал лучшее время выполнения операций, таких как выборка данных и объединение таблиц, при небольших объемах данных;
• Apache Ozone показал высокую производительность при увеличении объемов данных, благодаря оптимизированной работе с объектами.

Стабильность работы:

• Ozone более устойчив при высоких нагрузках и сбоях благодаря своей архитектуре и поддержке объектного хранения;
• HDFS менее эффективно справляется с параллельной нагрузкой в сценариях массовой вставки данных.

Соответствие требованиям Business Critical систем:

• Apache Ozone соответствует требованиям заказчика благодаря лучшей масштабируемости, гибкости и интеграции с современными аналитическими инструментами;
• HDFS продолжает быть надежным выбором для традиционных сценариев обработки данных.

Алгоритмы и автоматизация:
реализованные алгоритмы для массовой вставки, параллельных запросов и восстановления данных успешно прошли проверку на обеих файловых системах.