Data Engineer – Databricks/Azure
Коротко
Builds and implements a Solvency II regulatory reporting solution, configuring Databricks in Azure, designing data models and ingestion processes, and · Needs: Commercial experience with Databricks; experience with Microsoft Azure; experience in Data Engineering, data ingestion, and data modeling; good English.
Описание от работодателя
Poszukujemy Data Engineera do międzynarodowego projektu realizowanego dla organizacji z sektora ubezpieczeniowego. Projekt obejmuje budowę i wdrożenie rozwiązania wspierającego raportowanie regulacyjne Solvency II, w tym procesy związane z Pillar 1 oraz Pillar 3.
Daily tasks:
- Budowa, konfiguracja i wdrażanie rozwiązania wspierającego raportowanie Solvency II.
- Konfiguracja i deployment Databricks w środowisku Microsoft Azure.
- Przygotowanie i konfiguracja środowiska oraz platformy po stronie Azure.
- Projektowanie i implementacja modeli danych oraz procesów data ingestion.
- Budowa i konfiguracja modeli, kalkulacji, mappingów oraz reguł biznesowych.
- Przygotowywanie danych na potrzeby procesów raportowania Pillar 1 i Pillar 3.
- Współpraca przy tworzeniu raportów, analiz i outputów BI/MI.
- Udział w projektowaniu rozwiązania technicznego oraz szczegółowego rozwiązania technicznego.
- Wsparcie testów SIT, regression testing oraz UAT/E2E.
Praktyczne, komercyjne doświadczenie w pracy z Databricks
Doświadczenie z Microsoft Azure, w szczególności przy konfiguracji środowiska i usług potrzebnych do pracy z Databricks.
Doświadczenie w obszarze Data Engineering.
Praktyczna znajomość data ingestion oraz data modeling.
Doświadczenie w budowaniu i wdrażaniu rozwiązań data platform/data processing.
Umiejętność pracy z dużymi zbiorami danych i przygotowywania ich na potrzeby raportowania.
Gotowość do pracy w projekcie, w którym Databricks jest wdrażany jako nowa platforma, a środowisko wymaga konfiguracji od podstaw.
Dobra znajomość języka angielskiego umożliwiająca pracę w międzynarodowym środowisku.
Must have: Azure, Databricks