Engenheiro de Dados Sr. | PJ
Publicada em
Ver 1.617 vagas de Data Science / Analytics →Descrição da Vaga
Buscamos um(a) Engenheiro(a) de Dados Sênior para desenhar, desenvolver e evoluir a arquitetura de dados da plataforma, integrando Databricks, AWS e PostgreSQL em uma estrutura escalável, segura e governada. Essa pessoa será responsável por construir e sustentar pipelines de dados, garantir a qualidade e disponibilidade das informações e otimizar soluções para consumo analítico, atuando também como referência técnica para o time.
Responsabilidades
- Desenhar e evoluir a arquitetura de dados da plataforma, utilizando Databricks, AWS e PostgreSQL.
- Desenvolver, manter e sustentar pipelines ETL/ELT com PySpark, SQL e serviços AWS.
- Implementar processos de ingestão de dados, incluindo cargas incrementais e CDC.
- Estruturar e evoluir as camadas Bronze, Silver e Gold no Delta Lake.
- Modelar e disponibilizar dados otimizados para consumo em ferramentas de BI, especialmente Power BI.
- Administrar a governança de dados por meio do Unity Catalog, garantindo controle de acesso, rastreabilidade e linhagem.
- Implementar testes e controles de qualidade, assegurando a integridade e confiabilidade das informações.
- Monitorar pipelines, clusters e bancos de dados, identificando falhas e oportunidades de melhoria de performance e custos.
- Atuar na resolução de incidentes e problemas relacionados às soluções de dados.
- Aplicar boas práticas de segurança, privacidade e LGPD.
- Estruturar e manter processos de CI/CD, versionamento de código e infraestrutura.
- Participar de projetos de implementação, evolução e modernização da plataforma de dados.
- Elaborar documentação técnica de arquitetura, pipelines, integrações e modelos de dados.
- Atuar em parceria com stakeholders para levantamento de requisitos e definição de soluções.
- Ser referência técnica para o time, revisando códigos, definindo padrões e apoiando profissionais de menor experiência.
Requisitos
- ✓Experiência mínima de 3 anos em Arquitetura ou Engenharia de Dados.
- ✓Experiência prática no desenvolvimento e sustentação de pipelines ETL/ELT em produção.
- ✓Domínio de Databricks, incluindo Delta Lake, arquitetura Lakehouse, Unity Catalog e Workflows/Jobs.
- ✓Experiência com AWS, especialmente S3, IAM, RDS/Aurora PostgreSQL e serviços de integração e automação.
- ✓Conhecimento avançado em PostgreSQL, incluindo modelagem, indexação, otimização de queries e estratégias de extração/CDC.
- ✓Domínio de SQL e Python.
- ✓Experiência com PySpark e processamento distribuído.
- ✓Conhecimento em modelagem de dados voltada para consumo analítico.
- ✓Experiência na disponibilização de dados para ferramentas de BI, preferencialmente Power BI.
- ✓Vivência com Git e versionamento colaborativo.
- ✓Conhecimentos de qualidade, segurança e governança de dados, incluindo LGPD.
- ✓Capacidade de levantamento e análise de requisitos junto às áreas de negócio.
- ✓Experiência com documentação técnica e de arquitetura.
- •Certificações Databricks (Data Engineer Associate/Professional) e/ou AWS.
- •Experiência com Terraform e Databricks Asset Bundles.
- •Conhecimentos de CI/CD e práticas de DevOps/DataOps, como GitHub Actions e GitLab CI.
- •Vivência com FinOps e otimização de custos em Databricks e AWS.
- •Experiência em projetos de migração ou modernização de plataformas de dados.
- •Experiência com administração do Metabase, incluindo modelos, permissões, cache e performance de consultas.
Benefícios
- ✓Day off
- ✓Plataforma de bem estar
- ✓Ajuda de custo
- ✓Horário flexível
Categorias
Sobre a Empresa
Mais vagas na Mell.ro →Na Mell.ro, simplificamos a locação de imóveis, tornando o processo mais ágil, seguro e sem burocracia. Nosso compromisso é garantir soluções inovadoras que atendam tanto inquilinos quanto proprietários, sempre com transparência e eficiência.[Ver Mais]
Informações Adicionais
Você será redirecionado para o site da empresa
Vagas Relacionadas
Cientista de Dados Sr.
Go.k Digital
Desenvolvedor(a) IA (Vibe Coding) Pleno ou Sênior
Visionnaire
Engenheiro(a) de Dados Sênior | Sustentação
Dadoteca
Engenheiro de IA SR
Insi
Engenheiro(a) de Dados Sênior (Databricks)
ICON Solutions do Brasil
Data Architect Sênior (gcp)
BM VAGAS