Senior Data Engineer with Astronomer [M/F]
Коротко
Supports clients in designing, configuring, and maintaining Apache Airflow workflows on Astronomer, integrating with existing data ecosystems, and diagnosing · Needs: 6+ years in similar role; practical Apache Airflow knowledge; commercial Python experience; production Astronomer/Astro experience; advanced English
Описание от работодателя
Projekt obejmuje rozwój i wsparcie zarządzanej, chmurowej platformy DataOps opartej na Apache Airflow i Astronomer. Osoba na tym stanowisku będzie wspierać klientów w projektowaniu, konfiguracji i utrzymaniu workflowów danych, a także w integracji Airflow z ich istniejącym ekosystemem technologicznym. Rola łączy kompetencje z obszaru Data Engineering, Platform Engineering i wsparcia technicznego, ze szczególnym naciskiem na stabilność i niezawodność środowisk produkcyjnych.
Daily tasks:
- Praktyczne wsparcie w zakresie konfiguracji Airflow, projektowania DAG-ów, harmonogramowania oraz rozwiązywania problemów.
- Pełnienie roli doradcy technicznego dla zespołów inżynierii danych po stronie klientów, korzystających z różnorodnych stosów technologicznych.
- Pomoc klientom w integracji Airflow z istniejącym ekosystemem danych, np. hurtowniami danych w chmurze, narzędziami do transformacji danych czy rozwiązaniami typu Infrastructure as Code.
- Wsparcie klientów podczas początkowego wdrażania platformy oraz uruchamiania jej na środowisku produkcyjnym.
- Diagnozowanie złożonych problemów związanych z Airflow oraz pomaganie klientom w wypracowaniu stabilnych i niezawodnych rozwiązań.
- Współpraca z wewnętrznym właścicielem projektu odpowiedzialnym za zarządzanie zakresem prac, monitorowanie statusu oraz prowadzenie spotkań.
Min. 6-letnie doswiadczenie na podobnym stanowisku,
Bardzo dobra, praktyczna znajomość Apache Airflow,
Dobre doświadczenie komercyjne w Pythonie,
Doświadczenie w pracy z Astronomer/Astro w środowisku produkcyjnym.
Doświadczenie w pracy z platformami lub rozwiązaniami z obszaru Data Engineering,
Doświadczenie w diagnozowaniu problemów w środowiskach produkcyjnych i systemach rozproszonych,
zaawansowana znajomość j. angielskiego
Must have: Python, Astronomer, Apache Airflow