Senior Data Engineer [CET time zone]

A FCamara Europe está em busca de um(a) Engenheiro(a) de Dados Sênior para atuar como referência técnica na plataforma de dados Databricks. O profissional será responsável por projetar e executar pipelines confiáveis, automatizar a entrega através de DataOps e CI/CD, e estabelecer a governança para manter os dados seguros, rastreáveis e prontos para modelos de IA utilizados por clientes globais. Esta é uma posição remota, considerando candidatos de Portugal e um conjunto limitado de países da UE.

Responsabilidades

• Projetar, construir e otimizar pipelines de lote e streaming no Databricks (PySpark, Spark SQL, Delta Lake, Delta Live Tables / Lakeflow).
• Evoluir a arquitetura Lakehouse (camadas bronze, silver e gold) para ingerir dados operacionais, comportamentais e HSE de múltiplos clientes e formatos.
• Garantir o desempenho e a eficiência de custos de clusters, jobs e SQL Warehouses.
• Entregar conjuntos de dados confiáveis para equipes de ciência de dados, IA e produto.
• Implementar pipelines de CI/CD para código de dados usando Databricks Asset Bundles, Git e Azure DevOps ou GitHub Actions.
• Automatizar testes de dados (unidade, integração e qualidade) e promoção entre dev, staging e produção.
• Provisionar infraestrutura como código (Terraform) e padronizar modelos de pipeline.
• Monitorar pipelines, definir SLAs e alertas, e liderar revisões de incidentes.
• Implementar e administrar o Unity Catalog: catálogos, permissões, linhagem e auditoria.
• Definir políticas para segurança, controle de acesso, mascaramento de dados e isolamento de dados por cliente.
• Garantir a conformidade com LGPD, GDPR e os requisitos contratuais de clientes globais.
• Estabelecer padrões de metadados, contratos de dados e métricas de qualidade.
• Atuar como referência técnica, revisando código e mentorando engenheiros de nível médio e júnior.
• Fazer parceria com equipes de produto, ciência de dados e consultores para transformar necessidades de negócios em soluções de dados.
• Documentar arquitetura, padrões e melhores práticas.