Data Engineer Lisboa

Data Engineer
Lisboa
Lisboa, Lisboa, Portugal

Responsável pelo design, desenvolvimento e manutenção de pipelines de dados robustos e escaláveis, bem como pela gestão de grandes volumes de dados em ambiente tecnológico exigente. A função terá como foco a configuração e implementação de processos de ingestão de dados em Cloud.

Responsabilidades principais:

• Configurar processos de ingestão de dados em Datalake Azure.

• Executar e monitorizar pedidos de novas ligações e acessos a repositórios de dados.

• Identificar riscos e problemas, propondo melhorias e correções.

• Garantir a qualidade, integridade e segurança dos dados.

• Projetar e implementar pipelines de dados eficientes e escaláveis em ambiente Big Data.

• Realizar otimizações e alterações em processos de ETL.

• Utilizar ferramentas e plataformas como Databricks, Azure e Open
Shift para ingestão e processamento de dados.

• Programar em Python, Scala e SQL para manipulação de dados e desenvolvimento de soluções.

• Implementar pipelines e algoritmos com frameworks como Spark.

• Colaborar com equipas multidisciplinares para compreender e responder a necessidades de dados.

Requisitos:

• Experiência mínima de 2 anos em engenharia de dados com foco em soluções Big Data, preferencialmente em ambiente Cloud.

• Conhecimentos em Databricks, Azure, SQL, Scala, Spark, Python.

• Bom domínio de Swagger.

• Experiência prática no desenvolvimento de processos ETL e manipulação de grandes volumes de dados.

• Familiaridade com metodologias ágeis e práticas de Dev
Ops.

• Elevada capacidade de resolução de problemas, organização e atenção ao detalhe.

Diferenciais valorizados:

• Conhecimento de tecnologias emergentes no ecossistema de Big Data.

• Experiência prévia na gestão de frameworks de ingestão de dados.

• Noções de Data Governance e Data Quality.

• Experiência em setores regulados (banca, seguros, telecomunicações).

• Perfil proativo, orientado a resultados, com forte espírito de colaboração.