Senior Data Engineer

Навыки: ETL, OLAP, Apache Airflow, SQL, Microsoft SQL, Redis, Apache Cassandra, PostgreSQL. Квалификация: Senior. Специализации: Разработчик баз данных. Описание:Ищем Senior Data Engineer с опытом проектирования архитектуры данных, разработки ETL/ELT-пайплайнов и оптимизации хранилищ OLAP/OLTP. Основные задачи: - Проектирование архитектуры хранилищ, моделей данных и стратегий партиционирования. - Разработка DAG, кастомных операторов и интеграций на Python с использованием Apache Airflow. - Реализация потоковой обработки на Apache Flink и пакетной обработки на Apache Spark. - Оптимизация SQL-запросов, баз данных и производительности пайплайнов. - Обеспечение качества данных, реализация CDC и интеграций между системами. - Ведение технической документации, задач и обращений в Jira/Confluence и сервис-деске. - Взаимодействие с разработчиками, тестировщиками и смежными командами. Обязательные требования: - От 4 лет опыта работы Data Engineer. - PostgreSQL, MSSQL, Redis, Cassandra. - Trino/StarRocks, Apache Kafka, Apache Flink, Apache Airflow. - Apache Iceberg, Lakekeeper, S3, понимание архитектуры Lakehouse. - Python, SQL, Bash, Git. - Опыт разработки ETL/ELT-пайплайнов, CDC, оптимизации SQL и настройки производительности. - Знание архитектуры данных, моделей OLAP/OLTP, принципов целостности и согласованности данных. - Уверенное владение Jira и Confluence, опыт работы с сервис-деском. - Свободный русский язык, английский — для чтения и написания технической документации. Будет плюсом: - InfluxDB, TimescaleDB, TDengine. - Hadoop, YARN, Kubernetes. - Продвинутый SQL, CI/CD для data-пайплайнов. - DDD, event-driven архитектура, Apache NiFi.