Data Engineer (Databricks / PySpark / AML)

Required skills: Databricks, PySpark, Python, SQL, PL/SQL Stawka: do 155 pln/h + VAT, B2B Lokalizacja: zdalnie Branża: bankowość Szukamy Data Engineera do rozwoju i migracji warstwy danych w obszarze AML. Kluczowym elementem roli jest budowa i rozwój rozwiązań opartych o Databricks i PySpark , integrujących dane z wielu źródeł oraz rozwój procesów ETL. Zakres obowiązków Rozwój i utrzymanie rozwiązań w Databricks z wykorzystaniem PySpark . Projektowanie, rozwój i optymalizacja procesów ETL. Integracja danych z różnych źródeł (API, bazy danych, pliki, batch). Migracja istniejących procesów ETL do nowej architektury danych. Transformacja, czyszczenie i mapowanie danych. Tworzenie oraz optymalizacja zapytań SQL. Współpraca z analitykami i zespołami biznesowymi przy projektowaniu rozwiązań. Must have Bardzo dobra znajomość Databricks . Bardzo dobra znajomość PySpark . Zaawansowana znajomość Python . Zaawansowana znajomość SQL / PL/SQL . Doświadczenie w projektowaniu i rozwijaniu procesów ETL. Doświadczenie w integracji danych z wielu źródeł (API, bazy danych, batch). Mile widziane Doświadczenie w projektach związanych z AML lub Data Warehouse. Znajomość architektury nowoczesnych platform danych. Kompetencje Umiejętność analitycznego myślenia i rozwiązywania problemów. Umiejętność przekładania wymagań biznesowych na rozwiązania techniczne. Dobra organizacja pracy i komunikacja. Umiejętność pracy zespołowej. Informacje o projekcie Projekt: rozwój i migracja warstwy danych AML. Lokalizacja: zdalnie