Engenheiro de Dados Sênior

Responsabilidades

Plataforma de dados

• Arquitetura: desenhar e evoluir a arquitetura de dados (batch e streaming), equilibrando confiabilidade, custo e simplicidade operacional.
• Infraestrutura: operar e evoluir os componentes da plataforma em GCP e Kubernetes (GKE), com deploys via Helm, GitOps e infraestrutura como código.
• Streaming e CDC: manter e escalar pipelines de CDC e eventos com Kafka, garantindo consistência, reprocessamento e baixa latência.
• Orquestração: administrar o Apache Airflow como plataforma, incluindo upgrades, escalabilidade, isolamento e padrões de DAG como idempotência, backfill e janelas de carga.
• Warehouse e transformação: sustentar o BigQuery e o Dataform como base de modelagem, com foco em performance, particionamento e FinOps.
• Self-service: criar bibliotecas internas, templates e automações que reduzam o atrito para quem desenvolve pipelines.
• CI/CD: manter esteiras com GitHub Actions, publicação de pacotes e imagens em registries privados e controles contra riscos de dependências.
• Governança e segurança: gerir acessos, gestão de segredos, policy tags e classificação de dados sensíveis (LGPD).
• Observabilidade: instrumentar a plataforma com métricas, logs e alertas, definir SLOs, responder a incidentes e conduzir análises de causa raiz.
• Integrações: conectar bancos transacionais, Nosql, APIs, ERP e plataformas SaaS à plataforma de dados.

IA aplicada à engenharia de dados

• Desenvolvimento assistido por agentes: usar agentes de código no ciclo completo: refinamento técnico, implementação, testes, code review e abertura de PR.
• MCPs de dados: construir e evoluir servidores MCP que expõem a plataforma para agentes. 
• Skills e plugins: escrever e manter skills, plugins e regras de contexto para que os agentes sigam as convenções de dados da empresa, como padrões de desenvolcimento, regras de governança e runbooks de operação.
• Operação com IA: usar agentes integrados a observabilidade para investigar incidentes, falhas de pipeline e anomalias em dados.

Requisitos

• Experiência sólida com Python aplicado a engenharia de dados e automação.
• SQL avançado e experiência com BigQuery ou outro data warehouse em nuvem.
• Experiência com Apache Airflow, tanto no desenvolvimento quanto na operação.
• Experiência com Kubernetes e Docker em produção.
• Vivência com GCP.
• Conhecimento de Kafka e de pipelines de CDC.
• Experiência em desenvolvimento de pipelines CI/CD.
• Domínio de cargas incrementais, idempotência, backfill e reprocessamento.
• Uso ativo de ferramentas de IA no desenvolvimento, como agentes de código e assistentes, com senso crítico para validar o que é gerado antes de ir para produção.