Especialista em Engenharia de Dados

📍 Barueri, SP🏢 Híbrido

Descrição da Vaga

A VONBZ está buscando um(a) Especialista em Engenharia de Dados para atuar em uma empresa de MediaTech, que opera uma plataforma digital de engajamento e benefícios. O profissional será responsável por projetar, implementar e manter pipelines de dados na plataforma Databricks, com foco em processamento batch e streaming, e evoluir a arquitetura Lakehouse.

Responsabilidades

Projetar, implementar e manter pipelines de dados na plataforma Databricks, contemplando processamento batch e streaming.
Desenhar e evoluir a arquitetura Lakehouse, aplicando as camadas Bronze, Silver e Gold.
Implementar e administrar Delta Lake, Unity Catalog e estratégias de governança, segurança e catalogação de dados.
Otimizar performance e custos de workloads Spark, realizando tuning, particionamento, caching e dimensionamento de clusters.
Definir padrões de desenvolvimento, promover code reviews e disseminar boas práticas de engenharia de dados.
Implementar e evoluir processos de CI/CD para pipelines de dados utilizando Databricks Asset Bundles, Terraform e ferramentas de automação.
Apoiar times de Analytics, Produto e Data Science na disponibilização de dados confiáveis e escaláveis.
Garantir observabilidade da plataforma através de monitoramento, alertas, lineage e iniciativas de qualidade de dados.

Requisitos

✓Experiência com Unity Catalog ou Hive Metastore associado a estratégias de migração
✓Proficiência em Python e SQL avançado
✓Experiência com pelo menos um provedor de nuvem: AWS, Azure ou GCP
✓Conhecimento em modelagem de dados, incluindo modelagem dimensional, Data Vault ou abordagens similares
✓Experiência com ferramentas de orquestração como Databricks Workflows, Airflow ou equivalentes
✓Vivência com versionamento utilizando Git e práticas de CI/CD aplicadas a pipelines de dados
•Certificações Databricks (Data Engineer Associate, Professional, Data Analyst ou ML Associate)
•Experiência com Delta Live Tables (DLT) e Structured Streaming
•Conhecimento em MLflow e operacionalização de modelos de Machine Learning
•Experiência com infraestrutura como código utilizando Terraform
•Conhecimento em Data Quality e frameworks de validação de dados
•Vivência em ambientes regulados, incluindo LGPD, SOX e práticas de FinOps para otimização de custos em Databricks
✓Experiência sólida com Databricks em ambientes produtivos de grande escala
✓Domínio de Apache Spark, incluindo PySpark e Spark SQL
✓Conhecimento avançado em Delta Lake e arquitetura Lakehouse

Benefícios

✓Auxílio Refeição (Cartão iFood Benefícios)
✓Assistência Médica SulAmérica (coparticipação)
✓Assistência Odontológica SulAmérica
✓Seguro de Vida SulAmérica
✓Auxílio Creche para filhos de até 5 anos e 11 meses
✓Auxílio Mobilidade
✓Estacionamento com 50% subsidiado pela empresa
✓Day Off no aniversário
✓Wellhub (Gympass)
✓Boon (Psicologia, Assistência Social, Assistência Jurídica, Assistência Financeira, Nutrição e Educação)
✓Modelo híbrido com 2 dias de Home Office

Categorias

Data Science / Analytics

Sobre a Empresa

Mais vagas na Vonbz →

Somos arquitetos da revolução digital: uma empresa de tecnologia formada por grandes talentos que não se contentam em só entregar código, mas em desenhar novas realidades.Nosso propósito? Catalisar a transformação digital de empresas ambiciosas, desde startups em fase de ideação até negócios maduros...[Ver Mais]