Разработчик баз данных
Коротко
Architects database schemas and optimizes performance for a unified data warehouse; develops ETL/ELT pipelines in Python from 10+ APIs; orchestrates Airflow · Needs: Expert SQL in MS SQL Server; 2-3+ years of commercial Python with pandas, numpy, requests, SQLAlchemy; experience with Airflow or similar orchestrators; Git
Описание от работодателя
Основные обязанности:
Архитектурное проектирование БД: Разработка концептуальной, логической и физической моделей данных единого хранилища. Проектирование топологии таблиц, схем данных и связей между ними. Оптимизация хранилищ данных, оптимизация производительности базы данных при тяжелых еженедельных инкрементальных загрузках;
Разработка и поддержка ETL/ELT пайплайнов: Написание надежных скриптов на Python для еженедельной выгрузки данных из 10 сторонних API, обработки JSON/XML-ответов и обработки ошибок связи;
Оркестрация процессов: Настройка, мониторинг и поддержка расписания запусков пайплайнов;
Разработка логики повторных запусков и системы оповещений при сбоях API;
Интеграция справочников и НСИ: Техническое подключение, версионирование и синхронизация мастер-справочников, словарей и классификаторов в единой БД;
Реализация алгоритмов маппинга (в т.ч. нечеткого поиска) совместно с аналитиками;
Обеспечение качества данных: Внедрение автоматических проверок (DQ-тестов) на этапе загрузки совместно с DQ-аналитиком (валидация типов, проверка на пустые значения, дубликаты, бизнес-логику);
Подготовка витрин данных для отгрузки клиентам.
Требования:
Экспертный SQL (MS SQL, PostgreSQL): Глубокое понимание архитектуры MS SQL (PostgreSQL будет преимуществом). Написание сложных запросов, CTE, оконных функций. Опыт оптимизации запросов, настройки индексов и чтения планов выполнения (EXPLAIN);
Уверенный Python : Опыт коммерческой разработки на Python от 2–3 лет. Отличное знание библиотек для обработки данных (pandas, numpy) и работы с БД/API (requests, httpx, SQLAlchemy);
Опыт работы с оркестраторами: Практический опыт настройки пайплайнов в Apache Airflow (предпочтительно), Prefect или аналогичных инструментах;
Работа с API : Понимание принципов работы REST API, веб-хуков, обработки механизмов авторизации (OAuth, API-ключи, токены) и лимитов на запросы;
Инженерная культура: Уверенное владение Git (ветвление, Pull Request), понимание принципов CI/CD, опыт контейнеризации приложений ( Docker ).
Условия: Официальное трудоустройство со стабильной заработной платой, сумма которой обсуждается с финальным кандидатом;
ДМС после года работы;
График работы 5/2, с возможностью работать в гибридном формате;
Современный офис и дружная команда профессионалов;
Интересные задачи и возможность профессионального роста.