AI/LLM Engineer

ИЩЕМ AI/LLM ENGINEER ДЛЯ ПРИСОЕДИНЕНИЯ К САМОЙ ТЕХНОЛОГИЧНОЙ КОМАНДЕ ЦЕНТРА ЦИФРОВЫХ ТЕХНОЛОГИЙ ОАО "РЖД".

О нас:

Мы внедряем большие языковые модели (LLM) для внутренних процессов компании.

Наша специфика — строгие требования ИБ: никаких внешних API (OpenAI, Claude и т.д.). Все модели, векторные базы и пайплайны должны работать локально в нашем закрытом контуре (On-Premise).

Мы ищем инженера, который станет владельцем этой инфраструктуры: от развертывания моделей на GPU до написания API и сборки RAG-пайплайнов. Мы ценим прагматичный подход, использование Open-Source и умение выжимать максимум из доступного железа.

Обязанности: (от простого к сложному):

• Инференс: Разворачивать и поддерживать локальные LLM (Llama-3, Qwen, Mistral и др.) с использованием Ollama, vLLM или TGI.

• Backend: Писать микросервисы на Python (FastAPI) для интеграции локальных моделей с нашими внутренними системами (CRM, ERP, базы знаний).

• RAG (Retrieval-Augmented Generation): Проектировать пайплайны поиска по корпоративным документам (парсинг файлов, чанкинг, генерация эмбеддингов, работа с векторными БД).

• Оптимизация: Экспериментировать с квантованными моделями (GGUF, AWQ, GPTQ) для запуска на ограниченных GPU-ресурсах.

• Оркестрация: Разворачивать готовые Open-Source решения (типа Dify, Open WebUI или AnythingLLM) для быстрого предоставления AI-инструментов сотрудникам.

Что мы ждем от вас:

• Уверенное владение Python (от 2 лет), опыт создания бэкенда (FastAPI / Aiohttp).

• Хорошее знание Linux и Docker (умение написать Dockerfile, поднять docker-compose, пробросить порты и GPU).

• Опыт работы с реляционными БД (PostgreSQL).

• Практический опыт с LLM: вы запускали модели локально, понимаете, что такое контекстное окно, токенизация, температура, System Prompt.

• Знание фреймворков для работы с LLM (LangChain или LlamaIndex).

• Умение самостоятельно разбираться в документации новых Open-Source проектов на GitHub и разворачивать их.

Будет плюсом (если не знаете —…