Engenheiro(a) de Dados AWS Sênior
Publicada em
Ver 1.493 vagas de Data Science / Analytics →Descrição da Vaga
A ICON IT está em busca de um(a) Engenheiro(a) de Dados AWS Sênior para atuar em um projeto de integração de dados em ambiente AWS. Este projeto envolve a ingestão de informações provenientes de uma API externa em um Data Lake corporativo já existente. O profissional será responsável pela implementação e configuração dos fluxos de ingestão, transformação e disponibilização dos dados até a camada Trusted, respeitando os padrões de arquitetura, governança, segurança e qualidade estabelecidos no ambiente do cliente. O projeto contempla as etapas de implementação, testes, documentação técnica e acompanhamento da estabilização da solução.
Responsabilidades
- Analisar os requisitos técnicos da API REST, incluindo autenticação, documentação OpenAPI/Swagger, paginação e mecanismos de atualização incremental.
- Implementar e configurar pipelines de ingestão de dados utilizando os serviços AWS e os componentes já disponíveis no ambiente.
- Desenvolver processos de tratamento e transformação de dados nas camadas Landing, Raw e Trusted.
- Implementar mecanismos de carga inicial e incremental, controle de processamento, deduplicação e exclusão lógica.
- Garantir a integridade, consistência, rastreabilidade e qualidade dos dados processados.
- Estruturar e disponibilizar os dados para consulta por meio do Amazon Athena.
- Implementar mecanismos de monitoramento, logging e tratamento de falhas nos processos de integração.
- Realizar testes técnicos, validações e reconciliação dos dados entre origem e destino.
- Elaborar documentação técnica e realizar transferência de conhecimento para a equipe responsável pela operação.
- Apoiar a estabilização da solução durante o período de Hypercare.
Requisitos
- ✓Experiência sólida em Engenharia de Dados em ambientes AWS.
- ✓Domínio de Python e SQL.
- ✓Experiência prática com AWS Glue, Amazon S3 e Amazon Athena.
- ✓Experiência com integração e ingestão de dados provenientes de APIs REST.
- ✓Conhecimento de arquiteturas de Data Lake e processos ETL/ELT.
- ✓Experiência com cargas incrementais, checkpoints e reprocessamento de dados.
- ✓Conhecimento de tratamento, deduplicação e validação de dados.
- ✓Experiência com formatos JSON e Parquet.
- ✓Conhecimento de Git e boas práticas de versionamento de código.
- •Experiência com AWS Lambda, Step Functions e Amazon EventBridge.
- •Conhecimento de AWS Glue Data Catalog.
- •Experiência com documentação OpenAPI/Swagger.
- •Conhecimento de infraestrutura como código (Terraform ou CloudFormation).
- •Vivência em ambientes corporativos com frameworks de ingestão, pipelines e padrões de governança previamente estabelecidos.
Categorias
Sobre a Empresa
Mais vagas na ICON Solutions do Brasil →Aqui, acreditamos que o mundo pode ser melhor. Enxergamos um futuro tecnológico, conectado, inteligente; mas também mais justo, mais inclusivo, mais responsável. Um futuro mais humano. Nascemos com a ambição de plantar esse futuro hoje e nos lembramos disso a cada desafio.[Ver Mais]
Informações Adicionais
Você será redirecionado para o site da empresa
Vagas Relacionadas
Forward Deployed Engineer SR (FDE)
Dataside
Senior data analyst
Pipefy
Engenheiro de IA SR
Insi
Senior Data Scientist
EPAM
Engenheiro de Dados e Plataforma de Agentes Sênior (GCP)
Leega Consultoria
Analista de BI Sênior | Remoto
Solutis