Descrição da Vaga
A Luby busca um(a) Engenheiro(a) de Dados Sênior para atuar no Google Cloud Platform, projetando, construindo e mantendo pipelines de dados escaláveis. O profissional será responsável por desenvolver a ingestão, modelagem e garantia de qualidade dos dados de ponta a ponta, integrando novas fontes aos padrões existentes e entregando dentro da infraestrutura e processo de mudança do cliente, incluindo documentação e runbooks.
Responsabilidades
- Desenvolver modelos e consultas no BigQuery com particionamento, clustering e modelos incrementais, otimizando performance e custo.
- Construir transformações modulares em dbt, com testes, documentação e metadados.
- Desenvolver e manter DAGs no Cloud Composer/Airflow, incluindo agendamento, dependências, retries e alertas.
- Escrever código de pipeline em Python para ingestão e desenvolvimento de conectores.
- Implementar diferentes padrões de ingestão e modelar dados em estruturas dimensionais e normalizadas.
- Garantir a qualidade dos dados e registrar metadados e lineage no Dataplex/Data Catalog.
- Atuar com Git e CI/CD, documentando runbooks como parte da entrega.
Requisitos
- ✓Experiência sólida com BigQuery: particionamento, clustering, modelos incrementais, tuning de performance e SQL com consciência de custo.
- ✓Experiência com dbt e SQL avançado, incluindo modelagem dimensional e lógica de reconciliação.
- ✓Vivência com Cloud Composer ou Airflow na criação e operação de DAGs.
- ✓Proficiência em Python para pipelines em nível de produção, utilitários de ingestão e conectores.
- ✓Experiência com múltiplos padrões de ingestão: file drop/SFTP, CDC (Datastream), APIs SaaS, Pub/Sub e planilhas para o warehouse.
- ✓Domínio de modelagem dimensional e normalizada, com mapeamento origem-destino, slowly changing dimensions e histórico de eventos.
- ✓Conhecimento em qualidade de dados (freshness, completude, integridade referencial, schema drift) e em metadados e lineage.
- ✓Proficiência em Git e CI/CD, GCS (landing zone, lifecycle, raw-to-standardized).
- ✓Fundamentos de IAM.
- ✓Inglês avançado/fluente para comunicação com o cliente.
- •Experiência com Terraform, contribuindo com módulos sobre um padrão já existente.
- •Familiaridade com camada semântica de Power BI ou com Looker.
- •Experiência com entrega de APIs no GCP (Cloud Run, API Gateway) para serviços baseados em data marts.
- •Uso de desenvolvimento assistido por IA para scaffolding de conectores e geração de testes.
- •Vivência em domínios de dados de real estate comercial ou serviços financeiros.
Benefícios
- ✓Plano de Saúde
- ✓Plano Odontológico
- ✓Seguro de Vida
- ✓Wellhub (Gympass)
- ✓Descontos em cursos da FIAP
- ✓Descontos em MBA USP Esalq
- ✓Descontos em lojas Multilaser
- ✓Bonificação por indicação de profissionais e negócios
- ✓Horário adaptável
- ✓Bônus anual
Categorias
Sobre a Empresa
Mais vagas na Luby →Somos uma consultoria global com mais de 20 anos de experiência, acelerando negócios de alto impacto e entregando soluções digitais completas para mais de 520 clientes em diversos setores.Com forte atuação em Web, Mobile, Backend/APIs, Data Science, Games, Metaverso, Web3, Cloud e QA, somos referênc...[Ver Mais]
Informações Adicionais
Você será redirecionado para o site da empresa
