Data Engineer
Коротко
Develops and maintains CI/CD pipelines for ETL processes; automates deployment and recovery; sets up monitoring, alerting, and logging; manages secrets and · Needs: 3+ years as Data Engineer or Backend Developer; Python; Airflow; SQL with PostgreSQL and ClickHouse; Kafka; Gitlab CI.
Описание от работодателя
Описание стрима:
«База знаний» - это внедрение базовой дисциплины управления критическими* данными корпоративного хранилища: как структурированными (таблицы, витрины, отчёты), так и неструктурированными (Confluence, Wiki — знания о данных).
Цель проекта – создание работающей системы управления критическими данными ФГ, обеспечивающей:
полную идентификацию и описание источников,
измеримое качество через дата-контракты,
единую навигацию по данным и знаниям о них,
дисциплину поддержания актуальности,
наличие источников в целевом состоянии.
Чем предстоит заниматься:
Разрабатывать и поддерживать CI/CD-пайплайны для ETL-процессов, проверок качества данных и инфраструктурных компонентов;
Обеспечивать версионирование ETL-кода, конфигураций, тестов и технической документации;
Автоматизировать развёртывание, пересборку и восстановление data-пайплайнов при сбоях;
Настраивать мониторинг, алертинг и централизованное логирование для контроля состояния процессов и качества данных;
Внедрять автоматизированные проверки схем, целостности и полноты данных на этапах загрузки и обработки;
Обеспечивать управление секретами, доступами и безопасностью данных и инфраструктуры;
Поддерживать среды разработки, тестирования и эксплуатации, оптимизировать производительность и использование ресурсов;
Настраивать резервное копирование и восстановление данных и конфигураций, обеспечивать соблюдение RTO/RPO;
Участвовать в диагностике и устранении инцидентов, проводить пост-инцидентный анализ;
Документировать архитектуру, data-пайплайны, процессы деплоя и восстановления.
Наши ожидания:
3+ года опыта в роли Data Engineer/Backend Developer;
Python: для написания DAGs Airflow (DAG, операторы, сенсоры);
Airflow: DAG, операторы, сенсоры;
SQL: глубокое знание, оптимизация запросов, опыт работы с PostgreSQL и ClickHouse;
Kafka: опыт работы с producers/consumers, настройка кластера/брокеров/топиков;
СУБД: Redis/ClickHouse/PostgreSQL или подобные системы;
CI/CD: Gitlab CI, Runners, Docker, Bash
Мы предлагаем:
Доступ к современным AI-инструментам;
Работу в стабильной и активно развивающейся компании – лидере инвестиционного рынка;
Современный стек технологий, амбициозные проекты, возможность профессионального развития;
Гибридный режим работы: возможность работать удаленно (частично или полностью);
Работу в аккредитованной Минцифры России ИТ-компании, резиденте Сколково;
ДМС с первого месяца работы.