← к выдаче
разработка

Senior Data Engineer with Astronomer [M/F]

Arche SolutionsPL10 дн. назад

Коротко

Supports clients in designing, configuring, and maintaining Apache Airflow workflows on Astronomer, integrating with existing data ecosystems, and diagnosing · Needs: 6+ years in similar role; practical Apache Airflow knowledge; commercial Python experience; production Astronomer/Astro experience; advanced English

Описание от работодателя

Projekt obejmuje rozwój i wsparcie zarządzanej, chmurowej platformy DataOps opartej na Apache Airflow i Astronomer. Osoba na tym stanowisku będzie wspierać klientów w projektowaniu, konfiguracji i utrzymaniu workflowów danych, a także w integracji Airflow z ich istniejącym ekosystemem technologicznym. Rola łączy kompetencje z obszaru Data Engineering, Platform Engineering i wsparcia technicznego, ze szczególnym naciskiem na stabilność i niezawodność środowisk produkcyjnych. Daily tasks: - Praktyczne wsparcie w zakresie konfiguracji Airflow, projektowania DAG-ów, harmonogramowania oraz rozwiązywania problemów. - Pełnienie roli doradcy technicznego dla zespołów inżynierii danych po stronie klientów, korzystających z różnorodnych stosów technologicznych. - Pomoc klientom w integracji Airflow z istniejącym ekosystemem danych, np. hurtowniami danych w chmurze, narzędziami do transformacji danych czy rozwiązaniami typu Infrastructure as Code. - Wsparcie klientów podczas początkowego wdrażania platformy oraz uruchamiania jej na środowisku produkcyjnym. - Diagnozowanie złożonych problemów związanych z Airflow oraz pomaganie klientom w wypracowaniu stabilnych i niezawodnych rozwiązań. - Współpraca z wewnętrznym właścicielem projektu odpowiedzialnym za zarządzanie zakresem prac, monitorowanie statusu oraz prowadzenie spotkań. Min. 6-letnie doswiadczenie na podobnym stanowisku, Bardzo dobra, praktyczna znajomość Apache Airflow, Dobre doświadczenie komercyjne w Pythonie, Doświadczenie w pracy z Astronomer/Astro w środowisku produkcyjnym. Doświadczenie w pracy z platformami lub rozwiązaniami z obszaru Data Engineering, Doświadczenie w diagnozowaniu problemów w środowiskach produkcyjnych i systemach rozproszonych, zaawansowana znajomość j. angielskiego Must have: Python, Astronomer, Apache Airflow