Know ATS Score
CV/Résumé Score
  • Expertini Resume Scoring: Our Semantic Matching Algorithm evaluates your CV/Résumé before you apply for this job role: Data Engineer.
Poland Jobs Expertini

Urgent! Data Engineer Job Opening In Warsaw – Now Hiring Devire



Job description

Twoja przyszła firma

Devire Outsourcing IT to forma współpracy dedykowana dla specjalistów z branży IT, oparta na zasadach własnej działalności gospodarczej - B2B, realizująca projekty dla Klientów prowadzących innowacyjne i nowoczesne projekty.

Dla naszego Klienta z sektora energetycznego poszukujemy Data Engineer'a, który będzie odpowiedzialny za wsparcie zespołu projektowego oraz utrzymaniowego w zadaniach związanych z budową, rozwojem i utrzymaniem platformy CDP w technologii Data Lakehouse (GCP).

Oczekiwania

1.

Platformy Chmurowe:

  • Google Cloud Platform (GCP): Znajomość kluczowych usług Data & Analytics

  • BigQuery: Wykorzystanie do przechowywania, przetwarzania i analizydanych (Bronze, Silver, Gold layers)

  • Cloud Storage: Zarządzanie danymi w różnych formatach (Parquet, JSON, CSV) i klasach przechowywania

  • Cloud Dataflow (Apache Beam): Projektowanie, implementacja i optymalizacja potoków ETL/ELT (zarówno batch, jak i streaming) w Pythonie.

  • Cloud Composer (Apache Airflow): Tworzenie i zarządzanie DAGami do orkiestracji złożonych przepływów danych, monitorowanie zadań.

  • Datastream: Zrozumienie mechanizmów CDC (Change Data Capture) i replikacji danych (z MySQL do BigQuery).
  • 2.

    Języki Programowania:

  • Python (Pandas) oraz SQL (ANSI SQL, dialekt BigQuery) 
  • 3.

    Bazy Danych:

  • MySQL, PostgreSQL, MS SQL Server
  • 4.

    Koncepcje i Metodologie:

  • Architektura Medalionowa (Bronze, Silver, Gold)

  • ETL/ELT: Zrozumienie procesów ekstrakcji, transformacji i ładowania danych.

  • Data Governance: Zrozumienie zasad zarządzania jakością danych, bezpieczeństwa danych, prywatności i zgodności (RODO).

  • Deduplikacja Danych oraz Wersjonowanie Danych (Data Versioning).
  • 5.

    Narzędzia i Procesy Deweloperskie:

  • Git oraz CI/CD.
  • Obowiązki


  • Projektowanie, implementacja i optymalizacja procesów przetwarzania danych w architekturze Data Lakehouse na platformie Google Cloud Platform (GCP).

  • Wspieranie zespołów projektowych i utrzymaniowych w budowie oraz rozwoju platformy Customer Data Platform (CDP).

  • Wspieranie zespołów projektowych i utrzymaniowych w budowie oraz rozwoju platformy Customer Data Platform (CDP).

  • Współpraca z analitykami, data scientistami i innymi interesariuszami w zakresie integracji oraz udostępniania danych.

  • Tworzenie i aktualizacja dokumentacji technicznej oraz dobrych praktyk w zakresie inżynierii danych w środowisku GCP.

  • Oferta


  • Kontrakt B2B via Devire.

  • Współpraca hybrydowa z biura w Warszawie (2-3 dni w tygodniu)

  • Pakiet benefitów.

  • Required Skill Profession

    Computer Occupations



    Your Complete Job Search Toolkit

    ✨ Smart • Intelligent • Private • Secure

    Start Using Our Tools

    Join thousands of professionals who've advanced their careers with our platform

    Rate or Report This Job
    If you feel this job is inaccurate or spam kindly report to us using below form.
    Please Note: This is NOT a job application form.


      Unlock Your Data Engineer Potential: Insight & Career Growth Guide