Descrição da Vaga
A Compass UOL está em busca de um(a) Engenheiro(a) de Dados Sênior com foco em AWS e LLMs para atuar na definição e evolução da arquitetura de dados cloud-native. O profissional será responsável por projetar modelos de dados otimizados para consulta operacional e consumo por agentes conversacionais, liderar a migração de dados históricos de mainframe e garantir a consistência, integridade e rastreabilidade dos dados, trabalhando com grandes volumes e dados históricos complexos.
Responsabilidades
- Definir e evoluir arquitetura de dados cloud-native na AWS.
- Projetar modelos de dados otimizados para consulta operacional (APIs) e consumo pelo agente conversacional.
- Liderar migração de dados históricos do mainframe.
- Garantir consistência, integridade e rastreabilidade.
- Construir e manter pipelines de ingestão e transformação.
- Integrar fluxo existente (PeopleSoft, mainframe, RDS).
- Otimizar consultas no PostgreSQL.
- Implementar estratégias de particionamento, indexação e caching (Redis).
- Reduzir latência para consultas frequentes.
- Garantir aderência a LGPD, políticas de retenção.
- Implementar controle de acesso a dados, mascaramento / anonimização quando necessário, auditoria e lineage.
- Estruturar dados para consumo por LLMs.
- Apoiar criação de camadas semânticas.
- Implementar validações de qualidade de dados.
- Monitorar pipelines e consistência.
Requisitos
- ✓Experiência com Data Engineering em AWS.
- ✓Construção e manutenção de pipelines de dados (ingestão e transformação).
- ✓Integração de dados de sistemas legados e corporativos (mainframe, PeopleSoft, RDS).
- ✓Experiência com modelagem de dados para diferentes consumos (APIs e analytics/IA).
- ✓Forte atuação em PostgreSQL (otimização de queries, performance, indexação e particionamento).
- ✓Conhecimento em caching (Redis).
- ✓Experiência com grandes volumes de dados e migração de sistemas legados.
- ✓Práticas de governança de dados (LGPD, auditoria, lineage, controle de acesso e qualidade).
- •Estruturação de dados para consumo por LLMs (camadas semânticas e embeddings).
Categorias
Sobre a Empresa
Mais vagas na Compass.UOL → A Compass UOL é especialista em serviços de transformação digital. Projetamos e construímos plataformas nativas digitais usando tecnologias de ponta para ajudar empresas a inovar, transformar seus negócios e prosperar em seus setores.[Ver Mais]
Informações Adicionais
Você será redirecionado para o site da empresa
