ML-инженер (рекомендательные системы, ALS/ANN)

О проекте:

Делаем персональные рекомендации в e-commerce на основе implicit-сигналов (просмотры/избранное/корзины/покупки) без ручных правил . Базовый retrieval — ALS + BM25/TF-IDF , быстрый поиск похожих — ANN (FAISS/HNSW) , онлайн-сервис — FastAPI с p95 ≤ 150 мс и fill-rate ≥ 99%. Данные — ClickHouse (история событий, витрины), пайплайны — Kafka + Airflow . Цели — рост CTR/ATC/GMV и качественные оффлайн-метрики (Recall@K, NDCG@K).

Стек:

Python 3.11+, FastAPI , ClickHouse , Kafka , Airflow , Redis , FAISS/HNSWlib , CatBoost/LightGBM/XGBoost , (опц.) PyTorch/Sentence-Transformers , Prometheus/Grafana , Docker, GitLab CI/CD, (опц.) Kubernetes/Swarm, Superset, S3/MinIO.

Обязанности:

• Retrieval на ALS: подготовка взаимодействий, нормализация весов (BM25/TF-IDF), обучение implicit-ALS, публикация user_factors/item_factors в ClickHouse, сборка FAISS/HNSW индекса.

• Онлайн-инференс: FastAPI /recommend, объединение кандидатов (ALS/популярность/кластер-popular), фильтры сток/регион/квоты мерчанта, лёгкая диверсификация (MMR); контроль p95 и fill-rate.

• Данные и витрины: проектирование и поддержка витрин в ClickHouse (interactions, popularity, co-vis), инкрементальные DAG’и в Airflow , ingest через Kafka .

• Дообучение моделей и ML-эксперименты: дообучение моделей эмбеддингов на данных e-commerce, подготовка датасетов для обучения: пары товар-товар, пользователь-товар, запрос-товар, построение negative sampling и hard negative mining, эксперименты с Sentence-BERT, bi-encoder и cross-encoder архитектурами, использование transfer learning для доменной адаптации моделей, тестирование reranking-моделей поверх retrieval-кандидатов, сравнение ALS/BPR, dense retrieval, hybrid retrieval и ML-ranking, документирование экспериментов, метрик и выводов.

• Оффлайн-оценка и A/B: расчёт Recall@K/NDCG@K (time-split), дизайн и анализ A/B (SRM-чек, доверительные интервалы, CUPED), мониторинг CTR/ATC/RPS/GMV и guardrails (латентность, fill-rate, OOS-share), контроль технических…