Senior Data Engineer (проект, срочный ТД)

Чем предстоит заниматься:

• Вести встречи с заказчиками для сбора и уточнения требований к отчетности;

• Изучать и помогать в разметке данных в системах контура;

• Организовывать сбор и хранение размеченных данных;

• Автоматизировать процессы взаимодействия между системами для эффективного сбора данных;

• Осуществлять очистку и подготовку данных для дальнейшего анализа;

• Разрабатывать дашборды и отчеты по событиям в системах контура;

• Оптимизировать архитектуру хранения и обработки данных;

• Внедрять лучшие практики по обеспечению качества и безопасности данных;

• Сотрудничать с командами аналитиков, разработчиков и бизнес-пользователей.

Наши ожидания:

• Уровень Senior: самостоятельное проектирование и доведение до рабочего результата сквозных data-пайплайнов;

• Практический опыт Microsoft Fabric: Data Factory / Data pipelines, OneLake, подготовка наборов данных для аналитики;

• Сильный SQL и опыт работы с MS SQL Server, построение инкрементальных загрузок и контроля качества данных. Опыт интеграции с PostgreSQL и REST API;

• Опыт очистки, трансформации, объединения и агрегации данных из нескольких систем, разработки понятных определений метрик и подготовки данных для BI-отчётности;

• Практика эксплуатации загрузок: расписания, мониторинг, восстановление после ошибок, оценка нагрузки на источники, документирование потоков и передача решений в поддержку;

• Понимание принципов защиты клиентских данных, разграничения доступа и работы с техническими учётными записями в облачной среде; готовность согласовывать решения с ИБ и инфраструктурой;

• Умение напрямую работать с заказчиком, аналитиками и командами систем-источников, выявлять противоречия в требованиях и предлагать реализуемое решение в ограниченный срок;

• Опыт Azure и интеграции с Jira Cloud API будет преимуществом;

• Опыт проектирования слоёв данных в Fabric, подготовки данных для Power BI и сценариев использования AI-инструментов поверх аналитических данных будет преимуществом;

• Опыт…