Эксперт дисциплины “Инфраструктура big data”

Мы - Центр педагогического дизайна и онлайн обучения Института дистанционного образования ТГУ . Создаем онлайн-магистратуры, являемся оператором проекта “Цифровые кафедры” в ТГУ — IT-программы для обучающихся любых специальностей.

Сейчас в рамках одной из наших флагманских онлайн-магистратур “Науки о данных” мы находимся в поиске эксперта-разработчика дисциплины “Инфраструктура big data”.

Основная задача курса – научить обучающихся строить надежную инфрастуктуру из Kafka, Spark и ClickHouse для сбора больших объемов данных и работы ML-моделей в реальном времени, а также дать теоретико-методологическую базу для обоснования архитектуры данных в ВКР.

Скиллсет дисциплины:

• развернуть в Docker и связать между собой главные инструменты работы с большими данными: Kafka, Spark, ClickHouse и Airflow

• настроить процессы получения, фильтрации и обработки данных в режиме реального времени

• строить пайплайны, которые автоматически собирают, очищают и передают терабайты данных в нейросети и ML-модели для прогнозов

• проектировать схемы таблиц, оптимизировать индексы и сжатие для сверхбыстрой записи и агрегации миллиардов записей временных рядов (ClickHouse)

• уметь объяснить выбор базы данных и схемы связей, опираясь на фундаментальные правила ИТ (CAP-теорему, принципы работы LSM-деревьев)

• описать, как система справляется с задержками данных, путаницей во времени событий и потерей пакетов

• применить методологию проверки системы на прочность (исследование задержек и пропускной способности инфраструктуры под стресс-нагрузкой)

Какие задачи ожидают:

• Разработка педагогического сценария дисциплины в рамках существующей магистратуры, в соответствии с заданными компетенциями, задачами, объемом (в согласовании с педагогическим дизайнером), с отчуждением авторских прав в пользу ТГУ.

• Разработка лонгридов, сценариев видеоконтента, презентаций и аннотаций к лекциям, заданий; подбор дополнительных учебных материалов и списка литературы.

• Составление рабочей…