Junior Data Engineer

Мы ищем Junior Data Engineer, который готов погрузиться в существующую инфраструктуру аналитики: разбираться в коде, оптимизировать пайплайны, исправлять баги и добавлять новые процессы. Стек уже настроен — ClickHouse, Airflow, API-интеграции, GitHub.

Но главное — это не просто поддержка. Мы находимся на этапе активного внедрения AI-решений в бизнес-процессы, и перед командой стоят амбициозные задачи по созданию больших продуктов с использованием LLM и RAG. У тебя будет возможность развиваться именно в этом направлении: участвовать в проектировании и интеграции ИИ-компонентов, работать с векторными базами данных, строить пайплайны для подачи контекста в модели.

Обязанности:

• Поддержка и развитие ETL/ELT-процессов: Обеспечение бесперебойной работы существующих пайплайнов данных (ClickHouse, Airflow), исправление ошибок и мониторинг качества данных.

• Работа с источниками данных: Настройка и поддержка интеграций с внешними источниками через API, а также обработка файлов, поступающих по электронной почте.

• Администрирование инфраструктуры аналитики: Работа с базами данных (ClickHouse, PostgreSQL), оптимизация запросов и структуры хранения.

• Автоматизация: Написание скриптов на Python для автоматизации рутинных задач по загрузке и трансформации данных.

• Работа с Git: Ведение кода пайплайнов в системе контроля версий (GitHub), участие в код-ревью.

• Участие в R&D проектах: Активное участие в создании и внедрении новых больших проектов компании, связанных с интеграцией AI/LLM в бизнес-процессы (под руководством старших коллег).

Требования:

• Высшее образование;

• Желательно дополнительное образование по соответствующему профилю;

• Опыт работы: от 1 года до 3 лет коммерческой разработки или администрирования в области Data Engineering.

• Язык программирования: Уверенное знание Python.

• Базы данных: Практический опыт работы с ClickHouse (создание таблиц, оптимизация, работа с ReplacingMergeTree) и PostgreSQL.

• Оркестрация: Опыт настройки…