AWS Data Engineer Porto

AWS Data Engineer
Porto
Porto, Porto District, Portugal

A IDW é uma empresa portuguesa de referência na área das Tecnologias de Informação, reconhecida pela qualidade dos seus serviços e pela excelência dos seus profissionais. Estamos focados em entregar aos nossos clientes as melhores soluções de negócio, através de tecnologia inovadora e equipas altamente qualificadas.

Desenhamos e implementamos soluções em algumas das maiores organizações a operar em Portugal e a nível internacional.

Neste momento, procuramos um(a) AWS Data Engineer para integrar um projeto no Porto, em regime híbrido.

Perfil:

Mínimo 3 anos de experiência;

Experiência profissional comprovada em engenharia de dados e ferramentas AWS;

Experiência com AWS Glue;

Experiência em engenharia de dados, modelagem de dados e data warehousing;

Experiência técnica comprovada em processos de Extração, Transformação e Carregamento (ETL);

Sólidos conhecimentos em My SQL e Bigquery GCP;

Capacidade técnica de resolução de problemas, autonomia e trabalho em equipa.

Tarefas:

Desenvolver e implementar soluções para importar dados de diversas fontes (bancos de dados, APIs, logs) utilizando serviços como AWS Kinesis, AWS Firehose, AWS Glue e AWS SQS;

Criar pipelines ETL usando ferramentas como AWS Glue, Spark e dbt, para transformar dados brutos em formatos adequados para a análise;

Implementar lógica de transformação de dados complexa, incluindo limpeza, agregação e enriquecimento de dados;

Gerir data lakes e data warehouses na AWS, utilizando serviços como Amazon S3, Amazon Redshift, Amazon Dynamo
DB e Amazon Aurora;

Escolher o armazenamento de dados mais adequado com base em requisitos de desempenho, custo e caso de uso;

Implementar políticas de governação e segurança de dados, incluindo controlo de acesso (IAM), criptografia e auditoria;

Garantir a qualidade dos dados, monitorização e correção de problemas de dados;

Colaborar com as equipas de dados de forma a entender as necessidades e desenvolvimento de soluções adequadas