Dla jednego z klientów poszukujemy osoby do roli:
Data Engineer – Apache NiFi
Zakres obowiązków
Projektowanie, rozwijanie i utrzymywanie skalowalnych oraz niezawodnych procesów przetwarzania danych w oparciu o Apache NiFi.
Budowa i automatyzacja procesów integracji danych z wielu źródeł - m.in.
API, baz danych, systemów plików i usług chmurowych.
Monitorowanie i optymalizacja przepływów danych w zakresie wydajności, dostępności i skalowalności.
Współpraca z zespołami analitycznymi, deweloperskimi i biznesowymi w celu zrozumienia wymagań oraz dostarczania efektywnych rozwiązań danych.
Zapewnienie zgodności z obowiązującymi standardami data governance, bezpieczeństwa i ochrony danych.
Analiza, diagnostyka i rozwiązywanie incydentów oraz problemów związanych z przepływem danych.
Przygotowywanie i aktualizacja dokumentacji technicznej procesów integracyjnych oraz architektury danych.
Wymagania
Doświadczenie w pracy z Apache NiFi oraz w projektowaniu procesów przetwarzania danych.
Znajomość zasad integracji danych (REST API, JDBC, systemy plików, chmura).
Umiejętność pracy z różnymi formatami danych (JSON, XML, CSV itp.).
Praktyczna znajomość zagadnień związanych z monitorowaniem i optymalizacją procesów ETL/ELT.
Dobra znajomość zagadnień z zakresu bezpieczeństwa, jakości i zarządzania danymi.
Mile widziane doświadczenie w środowiskach AWS / Azure / GCP oraz znajomość narzędzi DevOps.
Oferujemy