Data Engineer Viseu

Data Engineer
Viseu
Viseu, Viseu District, Portugal

Responsável pelo design, desenvolvimento e manutenção de pipelines de dados robustos e escaláveis, bem como pela gestão de grandes volumes de dados em ambiente tecnológico exigente. A função terá como foco a configuração e implementação de processos de ingestão de dados em Cloud.

Responsabilidades principais:

- Configurar processos de ingestão de dados em Datalake Azure.

- Executar e monitorizar pedidos de novas ligações e acessos a repositórios de dados.

- Identificar riscos e problemas, propondo melhorias e correções.

- Garantir a qualidade, integridade e segurança dos dados.

- Projetar e implementar pipelines de dados eficientes e escaláveis em ambiente Big Data.

- Realizar otimizações e alterações em processos de ETL.

- Utilizar ferramentas e plataformas como Databricks, Azure e Open
Shift para ingestão e processamento de dados.

- Programar em Python, Scala e SQL para manipulação de dados e desenvolvimento de soluções.

- Implementar pipelines e algoritmos com frameworks como Spark.

- Colaborar com equipas multidisciplinares para compreender e responder a necessidades de dados.

Requisitos:

- Experiência mínima de 2 anos em engenharia de dados com foco em soluções Big Data, preferencialmente em ambiente Cloud.

- Conhecimentos em Databricks, Azure, SQL, Scala, Spark, Python.

- Bom domínio de Swagger.

- Experiência prática no desenvolvimento de processos ETL e manipulação de grandes volumes de dados.

- Familiaridade com metodologias ágeis e práticas de Dev
Ops.

- Elevada capacidade de resolução de problemas, organização e atenção ao detalhe.

Diferenciais valorizados:

- Conhecimento de tecnologias emergentes no ecossistema de Big Data.

- Experiência prévia na gestão de frameworks de ingestão de dados.

- Noções de Data Governance e Data Quality.

- Experiência em setores regulados (banca, seguros, telecomunicações).

- Perfil proativo, orientado a resultados, com forte espírito de colaboração.