Data Engineer

Компания BSS — системно значимая российская ИТ-компания, специализирующаяся на разработке, внедрении и поддержке решений по цифровизации клиентского обслуживания для банков, финтех-компаний, госсектора, телекома, ритейла, медицины, сферы ЖКХ в России и СНГ. Мы разрабатываем системы речевой аналитики, развиваем платформы дистанционного банковского обслуживания, а также оказываем услуги по заказной и аутсорс разработке. Мы практикуем наиболее востребованные рынком технологические решения: от машинного обучения до разработки 1С.

Сейчас мы находимся в поиске Data инженера на проект сроком 6 месяцев.

Чем нужно будет заниматься:

• Проектирование архитектуры данных: разработка и описание целевой архитектуры хранилищ (OLAP/OLTP), определение моделей данных, выбор форматов хранения и стратегий партиционирования;

• Разработка Data Pipelines: проектирование и реализация ETL/ELT-пайплайнов: построение DAG в Apache Airflow, написание кастомных операторов и сенсоров на Python, настройка ретраев, алертинга и зависимостей;

• Стриминг и батч-обработка: разработка стриминговых джоб на Apache Flink и батч-процессинга на Apache Spark;

• Оптимизация производительности: практический опыт поиска и устранения узких мест, оптимизация медленных SQL-запросов (анализ execution plans, индексы, партиционирование), тюнинг конфигурации движков обработки (Flink, Spark) и баз данных для минимизации потребления ресурсов (CPU, RAM, I/O);

• Обеспечение качества данных: организация тестирования трансформаций данных, внедрение механизмов проверки целостности и актуальности данных, реализация процессов нормализации и дедупликации;

• Интеграции: разработка и поддержка интеграций между системами: REST/gRPC API, базы данных, message brokers (Kafka, MQTT), файловые хранилища (S3), Timeseries DB;

• Работа с Jira: ведение задач, управление статусами и связями между задачами;

• Поддержка технической и бизнес-команд: обработка заявок на поддержку существующих потоков данных или разработку новых…