← к выдаче
разработка

Data Engineer

BeteraМинск19 дн. назад

Коротко

Develops and orchestrates ELT/ETL pipelines with Apache Airflow and dbt; integrates data sources (REST API, databases, Kafka, web scraping, Google Sheets) · Needs: 3+ years in Data Engineering; strong SQL (complex queries, window functions, query plan optimization); strong Python for data engineering; practical experience

Описание от работодателя

Betera — это больше, чем работа. Мы — команда профессионалов , которые создают тренды, вдохновляют друг друга на амбициозные цели и достигают успеха на рынке Беларуси вместе. Здесь каждый может гордиться тем, что делает, реализовывать свои идеи и расти в окружении единомышленников. Мы стремительно развиваемся и готовы делиться опытом и знаниями. Если для тебя важно быть с лидерами, в центре внимания, создавать значимые проекты и двигать индустрию вперед, будем рады видеть тебя в нашей команде! Сейчас мы в поиске Data Engineer (Middle), присоединяйся! Что будет входить в твои задачи: Разрабатывать и оркестрировать пайплайны: проектировать и оптимизировать ELT/ETL-процессы с использованием Apache Airflow и dbt; Интегрировать внешние и внутренние источники данных: REST API, базы данных, Kafka, Web Scraping, Google Sheets; Проектировать и развивать DWH и аналитические витрины на базе Trino / Apache Iceberg в S3; Обеспечивать качество данных: разрабатывать автоматические проверки (dbt tests, Soda / Great Expectations), настраивать мониторинг аномалий и алертинг; Оптимизировать SQL-запросы и процессы обработки данных, повышать производительность DWH; Поддерживать существующие пайплайны и интеграции, находить и устранять возникающие проблемы; Вести техническую документацию по архитектуре данных, слоям DWH и интеграциям. Наши ожидания: От 3 лет опыта в Data Engineering ; Уверенное знание SQL: сложные запросы, оконные функции, агрегации, понимание планов выполнения и оптимизации запросов; Уверенное владение Python для задач Data Engineering: работа с API, библиотеками обработки данных и написание скриптов автоматизации; Практический опыт построения и оркестрации пайплайнов в Apache Airflow; Практический опыт работы с dbt: модели, макросы, тесты; Понимание принципов проектирования DWH и построения слоев данных; знание подходов Data Vault, Kimball / Inmon; Практический опыт настройки проверок Data Quality; Базовые навыки работы с Docker и Git. Будет плюсом: Опыт системного анализа источников данных: умение самостоятельно разбираться в структуре данных и преобразовывать её в аналитическую модель; Понимание принципов хранения данных в объектных хранилищах (AWS S3) и опыт работы с форматами таблиц Apache Iceberg / Delta Lake; Опыт работы с распределенными SQL-движками (Trino / Presto) или аналитическими БД (ClickHouse); Опыт работы с каталогами данных (Project Nessie, Apache Polaris, AWS Glue); Базовый опыт работы с PySpark; Опыт работы с потоковыми данными и Apache Kafka; Базовое понимание Kubernetes, в том числе запуск задач через KubernetesPodOperator; Опыт взаимодействия с BI-системами (Apache Superset, Power BI, Tableau). Что мы предлагаем: Конкурентная заработная плата, а также бонусы; Приятный график 5/2 с 10:00 до 18:00 и гибридный формат работы после испытательного срока; 5 Days Off и 16 Hours off для решения личных дел в рабочее время; Современный офис около метро в одном из самых ярких зданий нашего города – БЦ "Футурис". Для тебя в офисе есть зоны отдыха с массажным креслом, настольным теннисом, бильярдом, PS, скалодромом и настольными играми; Оплата внешнего обучения для повышения твоих hard skills, а также внутренняя база для обучения; Компенсация транспорта – на твой выбор проездной на общественный транспорт, такси или топливо; Компенсация медицинской страховки и занятий спортом, а также бесплатный шеринг велосипедов и билеты на спортивные мероприятия; Ты сможешь участвовать в насыщенной корпоративной жизни за счет компании: ежегодные летние и зимние корпоративные мероприятия. Вместе с Betera Team плаваем на байдарках, участвуем в полумарафонах, сажаем деревья и просто круто отдыхаем; Ты также сможешь присоединиться к нашим волонтерским проектам: мы помогаем приютам для животных, а также поддерживаем экологию в нашем “зеленом офисе” и за его пределами. Звучит интересно? Ждем твое CV! *Если твой опыт окажется подходящим для данной вакансии, мы обязательно свяжемся с тобой в течение недели. Если нет, то не расстраивайся, возможно, "твоя" вакансия ждет тебя впереди! Ссылка на Общереспубликанский банк вакансий на информационном портале государственной службы занятости о вакансии на должность не размещается на основании абз.5 ст. 34 закона Республики Беларусь <О занятости населения>