Инженер данных

Технические знания и опыт:

• Хороший уровень знаний языка программирования Python – структуры данных, итераторы и декораторы, параллельное и асинхронное программирование, объектно-ориентированное и функциональное программирование.
• Отличные знания SQL – создание сложных запросов с использованием табличных выражений (CTE) и оконных функций.
• Понимание принципов распределенных вычислений и обработки данных.
• Понимание принципов потоковой обработки данных.
• Понимание принципов работы систем распределенного хранения данных – Apache Cassandra, Hadoop/HDFS, S3, форматы таблиц Hive, Iceberg.
• Хорошие знания платформы Apache Spark – опыт использования библиотеки pyspark, влияние конфигурации приложения pyspark на производительность и эффективность обработки данных, отладка и анализ эффективности приложений pyspark с помощью Spark History Server.
• Опыт работы с системой оркестрации задач Apache Airflow.
• Опыт реализации промышленных отказоустойчивых сервисов на Python для пакетной загрузки и трансформации данных (ETL/ELT) на Spark под управлением Airflow.
• Опыт работы с платформой потоковой обработки данных Apache Kafka.
• Хорошие знания и опыт использования реляционных баз данных Oracle, PostgreSQL.

Личностные качества и коммуникативные навыки:

• Проактивный подход к работе – способность и желание искать и предлагать методы и варианты решения задач.
• Общий позитивный настрой и активная жизненная позиция.
• Умение и желание работать в команде, делиться опытом с коллегами и учиться новым практикам.
• Открытость в коммуникации трудностей, препятствующих решению задач.

Обязанности кандидата:

• Разработка пакетных ETL/ELT процессов для расчета переменных для моделей машинного обучения.
• Создание витрин данных для моделей машинного обучения.
• Разработка ETL/ELT процессов для обработки результатов моделей машинного обучения и передачи результатов во внешние системы.
• Эффективное взаимодействие в составе команды со специалистами по анализу данных и специалистами по развитию инфраструктуры.