Data Engineer

Мы строим технологичную финтех-компанию ИТ Контакт: с 2019 года мы создаем современные цифровые платформы, которые позволяют упростить процессы, снизить затраты и повысить безопасность сделок, связанных с приобретением жилья.

Благодаря нашей работе множество людей по всему миру смогли воплотить в жизнь мечту о собственном доме. Нас уже более 700 человек, и, в связи с активным ростом компании, мы находимся в поисках Data Engineer в нашу команду.

Технологии: SQL, Python, Pandas, SQLAlchemy, Requests, MS SQL Server, Apache Airflow, Git, CI/CD, REST API, SFTP, Jira, Confluence, GitHub Copilot​​​​​​​

Требования к кандидату:

• Отличное владение SQL и практический опыт работы с MS SQL Server .

• Практический опыт работы с Apache Airflow или другим инструментом оркестрации и готовность быстро углубиться в Airflow.

• Уверенное владение Python для задач обработки и интеграции данных, включая Pandas, SQLAlchemy и Requests.

• Хорошее понимание архитектуры DWH , принципов организации слоев хранения данных и построения Data Mart.

• Опыт разработки, сопровождения и рефакторинга ETL/ELT-процессов .

• Опыт интеграции данных из различных источников: SQL-баз, API, файлов и SFTP .

• Навыки оптимизации SQL-запросов и понимание принципов эффективной работы с базами данных.

Будет плюсом:

• Опыт переноса ETL-процессов, SQL Jobs или Python-скриптов в Airflow.

• Опыт работы с Git и понимание принципов version control.

• Понимание CI/CD применительно к data pipelines .

• Опыт работы с Jira и Confluence.

• Опыт использования LLM-инструментов, например GitHub Copilot , в процессе разработки.

• Опыт подготовки данных для аналитических систем или Power BI.

• Базовые навыки работы в Linux.

Чем вы будете заниматься:

• Рефакторить существующие ETL-процессы и структуру базы данных, содержащей данные из Jira и Bitbucket.

• Разрабатывать и сопровождать ETL/ELT-пайплайны .

• Переносить ETL-процессы и трансформации из SQL Server Jobs в Apache Airflow .

• Переносить существующие…