Data Architect

🌍 Remoto📍 Remoto

Descrição da Vaga

A Compass UOL está buscando um(a) Data Architect com foco em AWS e Databricks para atuar como especialista. O profissional será responsável por liderar a migração completa de um ambiente de dados atualmente em Databricks on Azure para AWS, o que inclui a criação de uma nova modelagem de dados e a reestruturação de pipelines e rotinas legadas. Além disso, definirá e evoluirá a arquitetura da Plataforma Corporativa de Dados (Lakehouse), garantindo a aderência ao modelo alvo baseado em AWS + Databricks e definindo padrões de arquitetura, frameworks e boas práticas.

Responsabilidades

Realizar a migração completa do ambiente atual (Databricks on Azure) para AWS.
Criar nova modelagem de dados e reestruturar pipelines e rotinas legadas.
Definir e evoluir a arquitetura da Plataforma Corporativa de Dados (Lakehouse).
Garantir aderência ao modelo alvo baseado em AWS + Databricks.
Definir padrões de arquitetura, frameworks e boas práticas.
Atuar na definição de estratégia de migração (waves, priorização, dependências).
Liderar a modernização do Data Warehouse legado (Azure/DataStage para AWS/Databricks).
Definir abordagens de migração: Incremental vs Big Bang.
Garantir continuidade operacional durante a transição.
Definir e implementar padrões de Governança de dados, Controle de acesso, Qualidade e linhagem de dados.
Garantir conformidade com políticas corporativas e LGPD.
Estruturar pipelines padronizados e reutilizáveis.
Implantar boas práticas de CI/CD para dados.
Reduzir dependência de processos manuais e baixa padronização.
Projetar integrações com múltiplas fontes e sistemas on-premises.

Requisitos

✓Experiência com Cloud & Plataforma AWS, S3, Glue, IAM, Lake Formation, CloudWatch, CloudTrail.
✓Experiência com Databricks: Unity Catalog, Delta Lake, notebooks, clusters e políticas.
✓Conhecimento de arquitetura moderna baseada em Lakehouse.
✓Experiência com modelagem de dados (DW, Lakehouse – Bronze/Silver/Gold).
✓Experiência com Pipelines de dados (ETL/ELT).
✓Experiência com SQL avançado.
✓Experiência com Python.
✓Experiência com ferramentas de orquestração distribuída como Airflow / Control-M.
✓Experiência com ADF / DataStage (legado).
✓Experiência com CI/CD para dados (Azure DevOps, Git, pipelines).
✓Experiência com Data Quality, Data Contracts, Data Lineage.
✓Experiência com Catálogo de dados e governança corporativa.
✓Experiência com Segurança e compliance (LGPD, controle de acesso, dados sensíveis).
✓Conhecimento com integração com múltiplas fontes: APIs, bancos relacionais, NoSQL, mainframe.
✓Experiência em Arquitetura distribuída e orientada a domínio.
✓Conhecimento em estratégias de migração: Replatform, Refactor, Rewrite.
✓Conhecimento em monitoramento (Datadog, CloudWatch).
✓Conhecimento em definição de SLAs/SLOs.
✓Experiência com troubleshooting de pipelines críticos.

Categorias

Data Science / Analytics

Sobre a Empresa

Mais vagas na Compass.UOL →

 A Compass UOL é especialista em serviços de transformação digital. Projetamos e construímos plataformas nativas digitais usando tecnologias de ponta para ajudar empresas a inovar, transformar seus negócios e prosperar em seus setores.[Ver Mais]