Descrição da Vaga
A Compass UOL está em busca de um(a) Engenheiro(a) de Dados Sênior para atuar no desenvolvimento e evolução de uma plataforma de dados robusta. O profissional será responsável por criar novas integrações com engines de consumo de dados, focar em tecnologias como Databricks, Glue ETL e AWS Lambda, e aprimorar APIs proprietárias e fluxos orientados a eventos que sustentam a plataforma. Além disso, será crucial na implementação e automação do provisionamento de recursos e permissões em ambientes AWS multi-account, e na evolução do mecanismo de virtualização e compartilhamento de dados.
Responsabilidades
- Desenvolver novas integrações da plataforma com engines de consumo de dados, com foco em Databricks, Glue ETL e AWS Lambda;
- Evoluir APIs proprietárias e fluxos orientados a eventos que sustentam a plataforma;
- Implementar e automatizar o provisionamento de recursos e permissões em ambiente AWS multi-account;
- Evoluir o mecanismo de virtualização e compartilhamento de dados entre produtores e consumidores, baseado em contratos de dados;
- Garantir a observabilidade, governança e segurança da plataforma;
- Apoiar os times de produtores e consumidores no uso da solução;
- Participar de decisões de arquitetura, documentação técnica e mentoria do time.
Requisitos
- ✓Experiência sólida com AWS, especialmente S3, Glue, Lake Formation e IAM;
- ✓Vivência com Databricks, incluindo Unity Catalog e integração com Glue Catalog e Lake Formation;
- ✓Domínio de Python para desenvolvimento de APIs e automações;
- ✓Conhecimento sólido em Java para manutenção de APIs e serviços backend;
- ✓Experiência no desenvolvimento e manutenção de APIs REST em produção;
- ✓Vivência com arquiteturas orientadas a eventos utilizando SNS e SQS;
- ✓SQL avançado e experiência com engines de consulta distribuída (Athena, Presto, Trino e Spark);
- ✓Experiência com ambientes AWS multi-account e políticas de acesso entre contas;
- •Conhecimento em conceitos de Data Mesh, Data Products e governança federada;
- •Experiência com Open Data Contract Standard;
- •Conhecimento em PostgreSQL;
- •Vivência com Infraestrutura como Código (Terraform, CloudFormation ou CDK);
- •Experiência com EMR (EC2 e Serverless) e otimização de workloads Spark;
- •Conhecimento em AWS Lambda para pipelines orientados a eventos;
- •Experiência com Amazon Bedrock ou serviços de IA Generativa na AWS.
Categorias
Sobre a Empresa
Mais vagas na Compass.UOL → A Compass UOL é especialista em serviços de transformação digital. Projetamos e construímos plataformas nativas digitais usando tecnologias de ponta para ajudar empresas a inovar, transformar seus negócios e prosperar em seus setores.[Ver Mais]
Informações Adicionais
Você será redirecionado para o site da empresa
