Проекты

Задача:
анализ посещения сайтов с помощью Яндекс Метрики и внутренних систем. Система обрабатывает 2 млрд событий в месяц, необходимо кратно увеличить производительность системы, загружающую и обрабатывающую метрики.

Решение:
реализация загрузки из Яндекс Метрики в корпоративную витрину с обогащением данных Яндекс Метрики информацией из внутренних систем.

Результат:
построен модульный контур, использующий данные из Яндекс Метрики, Kafka и ClickHouse, с доказанной горизонтальной масштабируемостью архитектуры с 100000–600000 rps и выше.

Задача:
поддержка Open Source продуктов и доработка по требованиям заказчика.

Программные продукты:
Scylla / Apache Cassandra; Mongo DB; Apache Airflow; Kafka; ClickhHouse; Redis; Arango DB; ELK Stack; Istio; MiniO; Apache Kafka; Apache Zookeeper; Nginx; PostgreSQL; Hazelcast; KeyCloak; Prometheus; Fluentd; Kubernetes; Eureka; Сalico; Grafana; Zeebe (aka Camunda Cloud).

Результат:

• Line 3, line 4 поддержка Open Source продуктов.
• Внесение изменений в кодовую базу продуктов.
• Разработка новых функций и доработка существующих сервисов с учетом бизнес-требований.
• Внедрение инструментов мониторинга и автоматизации.
• Оптимизация производительности Open Source продуктов и их интеграция с банковскими системами.
• Успешные кейсы с SLA.

Задача:
построение облачной инфраструктуры заказчика и CI/CD-конвейера для Blockchain Hyperledger Fabric.

Результат:

• Разработана облачная инфраструктура с учетом требований безопасности и отказоустойчивости.
• Построен автоматизированный конвейер разработки и развертывания (CI/CD) для Hyperledger Fabric, обеспечивающий быструю доставку обновлений и поддержку смарт-контрактов.
• Интеграция с инструментами мониторинга, логирования и управления доступами.
• Обеспечена масштабируемость и стабильность блокчейн-решений.
• Организована архитектура платформы:

1. адаптирован инфраструктурный код от Google под Yandex Cloud, в концепции IAC-инфраструктура как код;
2. выстроены Pipeline Deploy приложения в k8s;
3. поднята и настроена система сбора логов и метрик;
4. адаптирована Ansible playbook по установке системы блокчейн HLF;
5. введена поддержка, модернизация и весь DevOps по запросу бизнеса.

Задача:
разработка высоконагруженной аналитической системы ПАК «Боцман Клик» на базе ClickHouse.

Результат:

• Разработана высоконагруженная аналитическая система с использованием ClickHouse.
• Интеграция с платформой «Боцман» для организации отказоустойчивого хранения и обработки больших объемов данных.
• Оптимизирована производительность запросов и процессов агрегации данных.
• Настроены механизмы балансировки нагрузки и автоматического масштабирования системы.
• Внедрена система резервного копирования и отказоустойчивости.

Задача:
разработка ПАКа хранения данных (логов) на базе платформ «Боцман», «Закрома» и OpenSearch.

Результат:

• Спроектирована и реализована масштабируемая система хранения логов, обеспечивающая надежное управление и доступ к данным.
• Интеграция с OpenSearch для эффективного поиска и анализа логов в реальном времени.
• Оптимизация производительности и обеспечение высокой доступности (High Availability) решения.
• Настроены механизмы резервного копирования и мониторинга системы.

Задача:
с нуля создана инфраструктура и информационная система на оборудовании заказчика, оставшемся от западных партнеров.

Результат
Организована архитектура платформы:

• развернуты и настроены базовые доменные сервисы и сетевые службы;
• внедрена почтовая система;
• интегрировано on-premise облако для хранения и совместного использования данных;
• внедрены отечественные системы DLP и MDM;
• спроектирован и развернут on-premise кластер k8s;
• спроектирован и внедрен резервный центр обработки данных;
• спроектированы и развернуты системы СКУД и видеонаблюдения;
• составлена документация к сервисам и инструкции для пользователей.

Задача:
аудит инфраструктуры и совершенствование DevOps-процессов.

Результат:

• Проведен детальный аудит текущей ИТ-инфраструктуры, выявлены узкие места и потенциальные риски.
• Переработан конвейер разработки ПО с целью повышения эффективности CI/CD-процессов.
• Внедрена методология GitOps для автоматизированного управления инфраструктурой и кодом, обеспечивающая воспроизводимость и отказоустойчивость развертываний.
• Обучение команды заказчика и разработка рекомендаций по дальнейшему развитию инфраструктуры.

Задача:
аудит инфраструктуры, модернизация DevOps-процессов, внедрение GitOps на базе платформы «Боцман».

Результат:

• Проведен аудит ИТ-инфраструктуры, выявлены узкие места и предложены рекомендации по оптимизации.
• Разработан новый CI/CD-конвейер с использованием GitOps-подхода для автоматизированного развертывания и управления инфраструктурой.
• Внедрена система управления логированием и мониторингом.
• Платформа «Боцман» используется для организации отказоустойчивого хранения данных и управления приложениями.