Senior Data Engineer (Data & AI)
Publicada em
Ver 1.493 vagas de Data Science / Analytics →📍 São Paulo, SP🏢 Híbrido
PUBLICIDADE
Descrição da Vaga
A Indicium AI busca um(a) Senior Data Engineer para atuar como referência técnica em plataformas de dados para clientes industriais. O profissional será responsável por modernizar lakehouses no Azure Databricks, garantindo que suportem produtos de dados baseados em domínio e casos de uso de IA em operações. A função abrange desde o diagnóstico de plataformas legadas até o design da arquitetura para ingestão, ambientes, segurança e controle de custos em produção.
Responsabilidades
- Redesenhar a ingestão com uma camada raw/landing que preserve o histórico, substituindo cargas completas por padrões incrementais e CDC de staging do SQL Server e sistemas de origem (ERP, RH, manutenção, SSMA e sistemas operacionais).
- Definir a arquitetura do lakehouse: camadas medallion, ambientes DEV/HML/PRD separados e uma estratégia de Unity Catalog baseada em domínio.
- Implementar segurança e privacidade de dados, removendo credenciais do código (Key Vault, secret scopes e service principals) e aplicando máscaras de coluna, filtros de linha e ABAC no Unity Catalog para dados pessoais classificados, em conformidade com a LGPD.
- Orquestrar pipelines com Lakeflow Jobs e Databricks Asset Bundles, usando infraestrutura como código (Terraform) e CI/CD no Azure DevOps, incluindo linting, testes e promoção entre ambientes.
- Garantir a confiabilidade da plataforma através de alertas com propriedade e escalonamento claros, SLAs de atualização de dados, expectativas de qualidade de dados e observabilidade usando tabelas de sistema Databricks.
- Liderar o FinOps da plataforma (serverless vs. classic compute, políticas de cluster, orçamentos e tags), com redução de custos mensurável.
- Assumir e estabilizar pipelines legados, liderar o tratamento de incidentes, criar runbooks e transferir conhecimento para a equipe de suporte.
- Apoiar, quando necessário, a ingestão de séries temporais industriais (historiador de processo) para produtos de inteligência operacional.
- Revisar código, escrever ADRs e orientar engenheiros de dados de nível médio e júnior.
PUBLICIDADE
Requisitos
- ✓Experiência sênior em engenharia de dados em produção com Python, PySpark/Spark SQL e Delta Lake.
- ✓Experiência em produção com Databricks: Unity Catalog, Jobs/Lakeflow, Databricks Asset Bundles e SQL Warehouse.
- ✓Forte domínio de padrões de ingestão: CDC, cargas incrementais, Auto Loader, JDBC, REST APIs e evolução de esquema.
- ✓Experiência com infraestrutura como código (Terraform) e CI/CD para plataformas de dados.
- ✓Experiência prática com segurança e privacidade de dados: mascaramento de dados pessoais, modelos de acesso e LGPD.
- ✓Histórico de redução de custos em plataformas de dados em nuvem.
- ✓Experiência em assumir e refatorar plataformas de dados legadas.
- ✓Capacidade de comunicar trade-offs técnicos e de custo para a liderança técnica e de defender decisões de arquitetura contra recomendações de terceiros.
- ✓Autonomia para entregar em ritmo acelerado em ambientes legados, sem uma longa curva de aprendizado na stack.
- ✓Português fluente e inglês intermediário/avançado.
- •Experiência com serviços de dados Azure: ADLS Gen2, Key Vault, Entra ID e fundamentos de rede (Private Link, VNet).
- •Integração de dados SAP (S/4HANA, SAP Datasphere / Business Data Cloud, Delta Sharing) e TOTVS Protheus.
- •Experiência com dados industriais: AVEVA PI System / PI Web API, OPC UA, MQTT, Structured Streaming ou Azure Event Hubs.
- •Conhecimento de dbt.
- •Experiência em migração de BI legado (Qlik para Power BI).
- •Experiência com controles SOX / ITGC em plataformas de dados.
- •Certificação Databricks Data Engineer Professional ou Azure.
- •Experiência com dados de indústria pesada.
Benefícios
- ✓Plano de saúde Bradesco.
- ✓Flash Card (benefícios flexíveis - total R$ 1.350,00).
- ✓Bônus anual (baseado em performance).
- ✓Programa de indicação (R$ 250 por contratação bem-sucedida).
- ✓Licença maternidade estendida (6 meses).
- ✓Programa de suporte psicológico via "Programa Oxigênio" e Zenklub.
- ✓Day off de aniversário.
- ✓Happy hours e noites de jogos semanais (remotos e presenciais).
- ✓Wellhub (anteriormente Gympass).
- ✓Aulas semanais gratuitas de conversação em inglês.
- ✓Programa de Certificação (suporte financeiro total e recompensas por desempenho).
- ✓Oportunidades de tutoria na Indicium Academy.
- ✓Iniciativas internas como "Tech Tracks" e "Databloggers".
- ✓Trabalho remoto e horários flexíveis.
- ✓Lanches e bebidas no escritório.
- ✓Programa de pontos e recompensas.
Categorias
Sobre a Empresa
Mais vagas na Indicium →Indicium AI is trusted by the world's leading enterprises to deliver AI into production at scale. We are a global AI-native consultancy with proven experience across Financial Services, Energy & Utilities, Healthcare & Life Sciences, Retail & CPG, and Manufacturing.[Ver Mais]
Informações Adicionais
Selecionamos as principais informações da posição. Para conferir o descritivo completo, clique em "acessar"
PUBLICIDADE
Candidatar-se a esta vaga →
Você será redirecionado para o site da empresa
Vagas Relacionadas
Arquiteto(a) de Soluções Cloud & Pré-Vendas
MadeinWeb
Engenheiro de Dados Azure Sênior - Remoto
Dataside
Analista de Dados e BI Sênior
Extractta
Senior Data Scientist
EPAM
Engenheiro(a) de Dados | DataSecOps
Jump
Senior Machine Learning Engineer: Search Quality
Constructor