Data Quality Engineer

Основные задачи:

• Разрабатывать автоматизированные проверки качества данных (SQL, PySpark, SparkSQL)

• Проектировать и поддерживать правила Data Quality для новых источников данных

• Разрабатывать и сопровождать Data Contracts

• Анализировать схемы данных, RFC и бизнес-правила

• Интегрировать проверки качества в существующие ETL -пайплайны (Airflow)

• Настраивать мониторинг качества данных (Grafana, PostgreSQL Metadata Store)

• Анализировать инциденты качества данных и искать первопричины

• Развивать библиотеку повторно используемых DQ-проверок

• Взаимодействовать с Data Engineers, аналитиками и заказчиками данных

Наши ожидания:

• Хорошее знание SQL (сложные запросы, оптимизация)

• Опыт работы с Python (Pandas, PySpark) для анализа данных и автоматизации

• Понимание устройства DWH, ETL/ELT, Data Lake, Data Lakehouse (слои bronze/silver/gold)

• Опыт тестирования данных (ETL testing, DWH testing, Data Quality)

• Опыт работы с Git. Базовое понимание CI/CD

• Опыт работы с инструментами Big Data (S3, Spark, Airflow)

Будет плюсом:

• Опыт работы с Great Expectations, dbt tests, Soda или кастомным решением

• Опыт работы с OpenMetadata или другими дата-каталогами (DataHub, Arenadata Catalog, Apache Atlas)

• Опыт работы с Data Contracts

Что мы предлагаем:

Здоровье и спорт:

• ДМС + стоматология

• Корпоративные скидки в фитнес-клуб World Class

• Корпоративный тариф на абонементы FITMOST

• Программа корпоративных скидок Best Benefits – на спорт и не только

• Спортивные мероприятия (турниры по футболу, волейболу, киберспорт, забеги, шахматы)

Обучение и развитие:

• Курсы английского языка, в том числе с носителем языка

• Сообщества по интересам: вместе читаем книги, ходим на интересные мероприятия и делимся маршрутами путешествий

• Внешние профессиональные курсы и конференции, сертифицированное обучение, которые вы выбираете сами

• Билеты со скидкой в Музей криптографии для сотрудников и их семей

А также:

• Работа в гибридном…