← к выдаче
разработка

Data Engineer (Senior)

FlowwowМосква11 дн. назад

Коротко

Designs and builds data platform tools and frameworks, including Data Vault modeling, Airflow operators, lineage, and AI agents, using Python, Spark, Trino · Needs: Senior-level experience with Python; deep knowledge of Apache Iceberg, Trino, Spark, Kafka, and Kubernetes; experience with Data Vault and Airflow.

Описание от работодателя

Если ты уже работаешь во Флаувау, рекомендуй кандидата. Если присматриваешься к нам как соискатель — оставляй отклик напрямую. 🌷 Если ты — сотрудник Флаувау и рекомендуешь кандидата В полях «Ваше имя» и «Фамилия» укажите имя и фамилию кандидата , которого рекомендуете. В поле «Сопроводительное письмо» напишите ваши имя и фамилию — как человека, который дает рекомендацию. 🌷 Если ты — соискатель Заполни форму, добавь сопроводительное письмо (по желанию) — мы вернемся с ответом, если твой опыт подойдет под роль. Кто мы и что строим Flowwow — международный маркетплейс подарков. Под ним работает Data Platform, которую мы построили с нуля: не «настроили managed-сервисы», а спроектировали и написали сами — от storage-слоя до AI-агентов поверх данных. Это lakehouse на Apache Iceberg + Trino, со Spark для тяжёлых вычислений, CDC-пайплайнами на Kafka/Debezium, всё в Kubernetes. Поверх этого — большой слой собственного кода: свой фреймворк Data Vault — моделирование хранилища как код, а не как набор ручных SQL-скриптов; обвязка вокруг Airflow — собственные операторы, хуки, генерация DAG'ов, инструменты тестирования пайплайнов; самописный lineage и инструменты наблюдаемости данных; AI-слой: агенты на LangGraph + MCP, которые расследуют инциденты, анализируют качество данных и помогают команде в рутине. Мы — команда инженеров, а не операторов ETL. Бо́льшая часть нашей работы — это Python-разработка: библиотеки, фреймворки, сервисы, которыми пользуется вся дата-вертикаль компании. Почему эта роль интересная Это позиция Senior DE с сильным уклоном в платформенную разработку. Не «писать пайплайны по тикетам», а проектировать инструменты, из-за которых пайплайны пишутся в разы быстрее — или не пишутся руками вообще. Вы будете работать с lakehouse-стеком на уровне внутренностей: оптимизация Trino-запросов и работа с коннекторами, maintenance Iceberg-таблиц (компакция, snapshot expiration, position/equality deletes — мы знаем эту боль изнутри), эволюция схем, REST-каталог. Это та глубина, которая редко встречается в продуктовых компаниях. И второе: мы AI-native команда. Claude Code и аналогичные инструменты — часть ежедневного рабочего процесса, а не эксперимент по пятницам. Мы строим harness-системы вокруг LLM: агентов с инструментами, автоматизацию code review, ассистентов для написания DAG'ов. Если вам близко состояние, когда ты проектируешь систему, а агент под твоим контролем выполняет рутину — вам у нас понравится. развитие ядра платформы: фреймворка Data Vault, обвязки Airflow, lineage-инструментов; проектирование API для использования другими инженерами и ответственность за их развитие; разработка библиотек и фреймворков на Python: клиентов к источникам данных, инструментов тестирования пайплайнов, оберток над инфраструктурными компонентами; обеспечение качества кода через типизацию, тестирование и code review; работа с lakehouse-архитектурой: Iceberg maintenance, оптимизация layout'а таблиц, тюнинг Trino, разработка Spark-джоб для тяжелых трансформаций; построение интеграций с источниками данных: OLTP-базы, REST/gRPC API, Kafka, файловые хранилища, SaaS-системы; проектирование унифицированных интерфейсов подключения новых источников; внедрение AI-инструментов в инженерные процессы: разработка агентов для расследования инцидентов, анализа качества данных, поддержки DAG'ов и code review; участие в архитектурных решениях: выбор технологий, проектирование интерфейсов между компонентами, формирование и внедрение best practices в команде; проведение code review и менторинг менее опытных коллег. Промышленный опыт от 5 лет в data engineering или backend-разработке с сильным дата-уклоном: production-системы под реальной нагрузкой, ответственность за их эксплуатацию, а не только за написание кода. Python — главное требование. Уровень senior разработчика: ООП, проектирование API библиотек, типизация, тесты, опыт написания переиспользуемых компонентов, которыми пользовались другие люди. Lakehouse-стек на практике. Apache Iceberg (или Delta/Hudi с готовностью быстро переключиться): устройство таблиц, snapshots, компакция, schema evolution. Понимание, чем lakehouse отличается от классического DWH не на уровне статьи на Medium. Trino или другой MPP-движок: архитектура распределённого выполнения, чтение планов запросов, оптимизация, опыт работы с коннекторами. Apache Airflow глубоко: не только разработка DAG'ов, но и внутреннее устройство (scheduler, executors, метаданные), опыт написания собственных операторов и хуков. Apache Spark: PySpark, Spark SQL, понимание модели выполнения. SQL продвинутого уровня: оконные функции, CTE, оптимизация, чтение планов исполнения, работа с большими объёмами. Git, CI/CD — уверенно. полная занятость; оформление: трудовой договор; график: 5/2 удаленный формат работы; уровень дохода обсуждается на этапах найма. Что приятного мы делаем для сотрудников предлагаем ДМС со стоматологией или компенсацию на медицинское обслуживание, а также сервис психологической поддержки; заботимся о физическом здоровье — компенсируем расходы на занятия спортом или покупку спортивного оборудования; компенсируем стоимость техники, которую вы приобретаете для работы; создаем условия для развития: оплачиваем обучение, конференции и митапы, нужные для работы; подключаем к корпоративной программе лояльности: персональным скидкам на Flowwow и предложениям от партнеров. Наши ценности Забота и любовь Наш продукт основан на желании людей радовать друг друга и быть вместе. Пока любовь жива, у Flowwow будут пользователи. Развитие и рост Flowwow быстро развивается и с радостью поддерживает инициативы сотрудников. Культура взаимопомощи У нас работают люди, вовлеченные в процесс и небезразличные к тому, что они делают. Открытость к изменениям Каждый может проявлять инициативу, предлагать и быстро видеть свой вклад в общий успех. Благотворительность Одна из целей Flowwow — помогать людям. Нас объединяют социальная ответственность и готовность участвовать в специальных благотворительных мероприятиях.