Tech Lead Go/Python (GigaData)

Команда занимается сбором качественных данных, которые принципиально важны для обучения передовых моделей ИИ.

Обязанности

• Определять техническую стратегию и целевую архитектуру системы.

• Проектировать системы, готовые к масштабированию от миллионов до миллиардов сущностей: горизонтальное масштабирование, шардирование, геораспределение.

• Принимать ключевые технологические решения: выбор стека, стратегии хранения, архитектурные паттерны (event-driven, CQRS и др.).

• Проектировать end-to-end пайплайны: URL discovery → fetch → parse → deduplicate → store → deliver.

• Писать код самых сложных и критичных компонентов: планировщик обхода, URL-фронтир, дедупликация, проводить performance engineering: профилирование, нагрузочное тестирование, устранение bottleneck-ов.

• Оптимизировать прокси-инфраструктуру и маршрутизацию трафика на глобальном уровне, исследовать и внедрять новые технологии: HTTP/3, QUIC, eBPF, io_uring для максимизации throughput, разрабатывать стратегии оптимизации стоимости инфраструктуры (FinOps).

• Руководить командой из 3–6 инженеров: планирование, декомпозиция, приоритизация, формировать и поддерживать технические стандарты: Code Review, coding guidelines, архитектурные ADR, менторить разработчиков, проводить 1-1, помогать в профессиональном развитии, взаимодействовать с потребителями данных и смежными командами для планирования roadmap.

Требования

• Знание Python и Go.

• Коммерческий опыт разработки на Python и Go от 7 лет, из них не менее 2 лет в роли техлида/тимлида.

• Экспертиза в проектировании распределённых высоконагруженных систем (миллионы RPS, петабайты данных).

• Глубокое понимание сетевого стека: TCP/UDP, HTTP/1.1/2/3, TLS, DNS, QUIC.

• Практический опыт построения масштабных систем краулинга или аналогичных data acquisition систем.

• Экспертиза в асинхронном и параллельном программировании.

• Опыт проектирования микросервисной и event-driven архитектуры.

• Опыт работы с Kafka, Redis, PostgreSQL, ClickHouse (или…