Data Engineer Lisboa

Data Engineer
Lisboa
Lisboa, Lisboa, Portugal

Estamos a recrutar Data Engineer | Lisboa (modelo híbrido)

Na Metrica Portugal, estamos à procura de um/a Engenheiro/a de Dados para integrar um projeto sediado no Tagus
Park (modelo híbrido – 3 dias presenciais).

Contexto

O nosso cliente está a construir uma plataforma de dados inovadora que evolui de um Azure Data Lake tradicional para uma arquitetura
- driven, com foco em baixa latência, virtualização de dados e requisitos de tempo real.

• Os dados são ingeridos via Kafka e carregados em Singlestore.
• A virtualização é feita em Trino.
• A ingestão é suportada por microserviços em. NET Core, sobre uma framework proprietária.
• O/a Data Engineer terá um papel chave no desenvolvimento sobre esta framework.

O que procuramos

• Experiência em Apache Spark e Databricks
• Desenvolvimento de pipelines ETL com Python (Py
  Spark)
• Conhecimentos em Kafka, Trino e dbt
• Experiência com Delta Lake e boas práticas de arquitetura de dados
• Experiência em CI/CD e testes automáticos (unitários e de integração)
• Noções de observabilidade e práticas de qualidade em pipelines de dados

Perfil ideal

• Domínio de Python e SQL
• Experiência comprovada em processamento de dados em larga escala
• Capacidade de trabalhar de forma autónoma e colaborativa, sempre com foco em eficiência e qualidade

Se procuras um novo desafio e gostavas de saber mais,
- nos a tua candidatura e vamos conversar!