Engenheiro de Dados Sênior GCP/DBT

🌍 Remoto📍 Remoto

Descrição da Vaga

A Leega Consultoria busca um Engenheiro de Dados Sênior com expertise em GCP e DBT para atuar na análise, planejamento, design e desenvolvimento de pipelines de dados. O profissional será responsável por avaliar arquiteturas de Data Warehouse, mapear dados e transformações em serviços GCP como Cloud Storage, BigQuery e Dataproc, e definir estratégias de migração de dados. Além disso, irá projetar esquemas de tabelas no BigQuery, modelar zonas de dados no Cloud Storage e criar rotinas de transformação de dados utilizando Dataproc (Spark) ou Dataflow.

Responsabilidades

Avaliar a arquitetura e os requisitos do DW.
Mapear os dados, transformações e processos os serviços GCP (Cloud Storage, BigQuery, Dataproc).
Definir a estratégia de migração de dados (full load, incremental, CDC).
Elaborar um plano de arquitetura de dados no GCP.
Projetar esquemas de tabelas no BigQuery, considerando performance, custo e escalabilidade.
Definir estratégias de particionamento e clustering para BigQuery.
Modelar as zonas de dados no Cloud Storage (Bronze, Silver e Gold).
Criar rotinas de transformação de dados usando Dataproc (Spark) ou Dataflow para carregar dados para o BigQuery.
Traduzir a lógica de negócios e as transformações existentes no GCP.
Implementar mecanismos de validação e qualidade de dados.
Utilizar ferramentas de IaC (Terraform) para provisionar e gerenciar recursos GCP (BigQuery datasets/tables, Cloud Storage buckets, Dataproc clusters).
Configurar e otimizar clusters Dataproc para diferentes cargas de trabalho.
Gerenciar redes, segurança (IAM) e acessos no GCP.
Otimizar consultas no BigQuery para reduzir custos e melhorar o desempenho.
Ajustar e otimizar jobs Spark no Dataproc.
Monitorar e otimizar o uso de recursos GCP para controlar custos.
Implementar e garantir a segurança dos dados em trânsito e em repouso.
Definir e aplicar políticas de IAM para controlar o acesso aos dados e recursos.
Garantir a conformidade com as políticas de governança de dados.
Solucionar problemas de desempenho e funcionalidade dos pipelines de dados e recursos GCP.
Documentar a arquitetura, os pipelines de dados, os modelos de dados e os procedimentos operacionais.
Comunicar-se de forma eficaz com membros da equipe, stakeholders e outras áreas da empresa.
Garantir a comunicação clara entre as definições de arquitetura e componentes de software, evolução e a qualidade dos desenvolvimentos da equipe.

Requisitos

✓Profundo conhecimento em modelagem de dados, otimização de consultas, particionamento, clustering, carga de dados (streaming e batch), segurança e governança de dados no BigQuery.
✓Experiência em gerenciamento de buckets, classes de armazenamento, políticas de ciclo de vida, controle de acesso (IAM) e segurança de dados no Cloud Storage.
✓Habilidade em provisionamento, configuração e gerenciamento de clusters Spark/Hadoop, otimização de jobs e integração com outros serviços GCP no Dataproc.
✓Conhecimento em ferramentas de orquestração e processamento de dados para pipelines ELT/ETL como Dataflow/Composer/DBT.
✓Conhecimento comprovado de no mínimo 4 anos em GCP.
✓Conhecimento comprovado de no mínimo 4 anos em DBT.
✓Conhecimento comprovado de no mínimo 3 anos em Pyspark.
✓Conhecimento comprovado em GitFlow.
✓Experiência na implementação de políticas de segurança e controle de acesso granular com Cloud IAM (Identity and Access Management).
✓Entendimento de redes, sub-redes, regras de firewall e melhores práticas de segurança na nuvem (VPC, Networking e Security).
✓Conhecimento em Python e PySpark (essencial para scripts de automação, desenvolvimento de pipelines de dados e integração com APIs GCP).
✓SQL avançado (para BigQuery, DBT e transformações de dados).
✓Shell Scripting (para automação de tarefas).
✓Controle de Versão (Git/GitHub/Bitbucket).
✓Conhecimento em metodologias ágeis, seus ritos e proficiência com a ferramenta Jira.

Benefícios

✓Convênio Médico Porto Seguro (com possibilidade de incluir cônjuge e filhos)
✓Convênio Odontológico Porto Seguro (para você e seus dependentes)
✓Participação nos Lucros e Resultados (PLR)
✓Auxílio Creche
✓Vale Alimentação e Refeição Alelo
✓Auxílio Home Office
✓Parcerias com Instituições de Ensino (descontos e incentivos em cursos e graduações)
✓Incentivo para Certificações (GCP, Azure, AWS, entre outras)
✓Pontos Livelo
✓TotalPass (planos de academia com desconto para colaboradores e familiares)
✓Mindself (incentivo à qualidade de vida através de meditação e Mindfulness)

Categorias

Data Science / Analytics

Sobre a Empresa

Mais vagas na Leega Consultoria →

Na Leega, não entregamos apenas linhas de código ou dashboards. Transformamos desafios tecnológicos complexos em impacto real. Com mais de 15 anos de estrada, unimos a profundidade da experiência humana à velocidade da Inteligência Artificial para criar soluções que mudam negócios e, acima de tudo,...[Ver Mais]