ML Engineer в NLP-направление

Обязанности

• Разрабатывать и улучшать решения на базе LLM и NLP-моделей.

• Решать задачи классификации, скоринга, extraction и анализа текстовых данных.

• Работать с LLM-as-a-judge.

• Работать с многоязычными данными, в том числе низкоресурсными языками.

• Разрабатывать пайплайны обработки и анализа больших объёмов текстовых данных.

• Формировать и поддерживать validation / evaluation datasets для LLM-моделей.

• Разрабатывать методологию оценки качества LLM: метрики, пороги, error analysis, post-hoc проверки.

• Работать с prompt engineering и системными промптами, уменьшать количество false positive / false negative срабатываний.

• Оптимизировать inference: batching, quantization, использование GPU-ресурсов и скорость обработки.

• Интегрировать модели в production-пайплайны.

• Поддерживать уже работающие модели: мониторинг качества, поиск деградаций и разбор ошибок.

• Работать с неструктурированными данными: текстами, web-контентом, OCR и результатами анализа изображений.

• Проводить эксперименты и доводить успешные исследования до стабильного production-решения.

Требования

• Хорошее знание Python.

• Уверенное знание SQL.

• Практический опыт работы с LLM / NLP.

• Практический опыт работы с VLM / multimodal-моделями.

• Понимание принципов работы Transformer-моделей.

• Опыт работы с open-source LLM: Qwen, Llama, Mistral или аналогами.

• Опыт работы с Hugging Face / Transformers.

• Понимание подходов к prompt engineering.

• Умение строить качественные validation datasets и проводить error analysis.

• Понимание того, почему одной accuracy недостаточно для оценки LLM-систем.

• Опыт работы с классическими NLP-задачами: classification, embeddings, similarity, information extraction.

• Опыт работы с Airflow и построения production ML/data pipelines.

• Опыт работы с ClickHouse.

• Опыт работы с S3-совместимыми хранилищами.

• Умение самостоятельно проводить исследование: от постановки гипотезы и анализа данных до работающего прототипа.

• …