Data Engineer
Коротко
Builds and maintains data pipelines and integrations on Google Cloud Platform using BigQuery, SQL, Informatica Powercenter, Oracle, Cloud Storage, Pub/Sub, and · Needs: Google Cloud Platform, BigQuery, SQL, Informatica Powercenter, Oracle, Cloud Storage, Pub/Sub, Python
Описание от работодателя
Required skills: Google Cloud Platform, BigQuery, SQL, Informatica Powercenter, Oracle, Cloud Storage, Pub/Sub, Python
Poszukujemy osoby na stanowisko Data Engineer do projektu związanego z migracją i rozwojem procesów przetwarzania danych w środowisku Google Cloud Platform. Rola obejmuje pracę z dużymi wolumenami danych, budowę i optymalizację procesów przetwarzania oraz migrację rozwiązań z Oracle do GCP.
Zakres obowiązków
Projektowanie i rozwój rozwiązań Data Engineering w GCP
Migracja i przebudowa procesów przetwarzania danych z Oracle/on-premise do GCP
Projektowanie i rozwój procesów batch oraz streaming
Projektowanie struktur i modeli danych w BigQuery
Tworzenie i optymalizacja zapytań SQL dla dużych wolumenów danych
Analiza i modyfikacja procesów ETL w Informatica PowerCenter
Implementacja transformacji, walidacji i integracji danych
Przygotowywanie testów jednostkowych i integracyjnych
Diagnozowanie problemów związanych z przetwarzaniem i jakością danych
Tworzenie i aktualizacja dokumentacji technicznej
Wymagania
Minimum 2 lata komercyjnego doświadczenia w obszarze integracji lub przetwarzania danych
Praktyczne doświadczenie z Google Cloud Platform
Bardzo dobra znajomość BigQuery
Doświadczenie z Cloud Storage i Pub/Sub
Praktyczne doświadczenie z Oracle
Bardzo dobra znajomość SQL, w tym optymalizacja zapytań i praca z dużymi wolumenami danych
Doświadczenie developerskie z Informatica PowerCenter, w tym samodzielna analiza i modyfikacja procesów ETL
Znajomość Python w zakresie transformacji i integracji danych