Чем предстоит заниматься
- Проектирование и разработка отказоустойчивых ETL/ELT процессов в экосистеме Hadoop и Oracle
- Оптимизация и сопровождение пайплайнов данных (Spark, PySpark, Airflow)
- Интеграция новых источников данных и построение витрин для бизнес-заказчиков
- Обеспечение качества и актуальности данных в продуктивных системах
- Участие в архитектурных решениях по хранению и обработке больших данных
- Ad-hoc аналитика и поддержка команд аналитиков и data scientist
Что для этого нужно
- Высшее техническое образование (или завершающая стадия обучения)
- Опыт разработки на Python (написание скриптов, работа с библиотеками pandas, requests) от 6 месяцев (в т.ч. в рамках учебных проектов или стажировок)
- Уверенное знание SQL (написание сложных запросов, оконные функции, понимание планов выполнения, нормализация БД)
- Понимание основ архитектуры больших данных (понятия ETL/ELT, колоночные и реляционные хранилища, форматы хранения Parquet/ORC)
- Знакомство с концепциями оркестрации (Airflow) или опыт настройки простых пайплайнов в учебных целях
- Понимание принципов работы с системами контроля версий (Git) и умение работать в команде над кодом
- Базовые навыки работы в Linux (навигация по файловой системе, права доступа, простые bash-скрипты)
- Готовность к быстрому освоению технологий экосистемы Hadoop/Spark
- Навыки самостоятельного поиска информации и решения технических задач
- Опыт использования LLM-агентов и AI-ассистентов (например, Cursor, Claude Code) для генерации, рефакторинга и отладки инженерного кода