DataOps инженер

Медиалогия занимается разработкой продуктов по сбору и анализу данных из СМИ и соцмедиа.

Мы разрабатываем высоконагруженные системы, которые в режиме реального времени сканируют весь текстовый сегмент Интернета (100+ млн. сообщений в сутки, 1.7 млрд. метрик) и, используя уникальные лингвистические технологии, позволяют осуществлять мгновенный анализ упоминаний наших клиентов в социальных сетях, блогах, форумах и управлять их репутацией.

Обязанности:

• обеспечивать полный цикл жизни реляционных (PostgreSQL, MySQL) и колоночных (Clickhouse) баз данных: от установки до тюнинга и масштабирования;

• проектировать и поддерживать отказоустойчивые кластеры брокеров сообщений (Kafka, RabbitMQ) под высокие нагрузки;

• управлять инфраструктурой BigData и системами потоковой обработки (Hadoop, NiFi, AirFlow), оптимизировать их производительность;

• настраивать и поддерживать системы кэширования и поиска (Redis, Elasticsearch);

• управлять S3-совместимым объектным хранилищем (MinIO), обеспечивать георезервирование и консистентность данных;

• настраивать надежные системы резервного копирования (бэкапы, PITR) и регулярно проверять планы аварийного восстановления (DR);

• выступать «куратором» 1-2 проектов: погружаться в бизнес-логику, помогать разработчикам с профилированием сложных запросов и проектированием схем данных.

Наш стэк:

• базы данных: PostgreSQL, MySQL, Clickhouse;

• очереди и брокеры: Kafka, RabbitMQ;

• bigdata & ETL: Hadoop, Apache NiFi, Airflow;

• смежные системы: Redis, Elasticsearch, MinIO.

Требования:

• глубокое понимание внутреннего устройства реляционных БД (особенно PostgreSQL или MySQL): механизмы блокировок, индексы, репликация (streaming, logical);

• реальный опыт эксплуатации Apache Kafka в Production (настройка партиций, retention, решение проблем с лагом консьюмеров);

• опыт работы с Clickhouse (шардирование, репликация, движки таблиц);

• уверенное администрирование Linux (настройка ядра, дисковой подсистемы, сети под высокие нагрузки…