Mell.ro

Engenheiro de Dados Sr. | PJ

Publicada em

Ver 1.617 vagas de Data Science / Analytics →
🌍 Remoto📍 Remoto
PUBLICIDADE

Descrição da Vaga

Buscamos um(a) Engenheiro(a) de Dados Sênior para desenhar, desenvolver e evoluir a arquitetura de dados da plataforma, integrando Databricks, AWS e PostgreSQL em uma estrutura escalável, segura e governada. Essa pessoa será responsável por construir e sustentar pipelines de dados, garantir a qualidade e disponibilidade das informações e otimizar soluções para consumo analítico, atuando também como referência técnica para o time.

Responsabilidades

  • Desenhar e evoluir a arquitetura de dados da plataforma, utilizando Databricks, AWS e PostgreSQL.
  • Desenvolver, manter e sustentar pipelines ETL/ELT com PySpark, SQL e serviços AWS.
  • Implementar processos de ingestão de dados, incluindo cargas incrementais e CDC.
  • Estruturar e evoluir as camadas Bronze, Silver e Gold no Delta Lake.
  • Modelar e disponibilizar dados otimizados para consumo em ferramentas de BI, especialmente Power BI.
  • Administrar a governança de dados por meio do Unity Catalog, garantindo controle de acesso, rastreabilidade e linhagem.
  • Implementar testes e controles de qualidade, assegurando a integridade e confiabilidade das informações.
  • Monitorar pipelines, clusters e bancos de dados, identificando falhas e oportunidades de melhoria de performance e custos.
  • Atuar na resolução de incidentes e problemas relacionados às soluções de dados.
  • Aplicar boas práticas de segurança, privacidade e LGPD.
  • Estruturar e manter processos de CI/CD, versionamento de código e infraestrutura.
  • Participar de projetos de implementação, evolução e modernização da plataforma de dados.
  • Elaborar documentação técnica de arquitetura, pipelines, integrações e modelos de dados.
  • Atuar em parceria com stakeholders para levantamento de requisitos e definição de soluções.
  • Ser referência técnica para o time, revisando códigos, definindo padrões e apoiando profissionais de menor experiência.
PUBLICIDADE

Requisitos

  • ✓Experiência mínima de 3 anos em Arquitetura ou Engenharia de Dados.
  • ✓Experiência prática no desenvolvimento e sustentação de pipelines ETL/ELT em produção.
  • ✓Domínio de Databricks, incluindo Delta Lake, arquitetura Lakehouse, Unity Catalog e Workflows/Jobs.
  • ✓Experiência com AWS, especialmente S3, IAM, RDS/Aurora PostgreSQL e serviços de integração e automação.
  • ✓Conhecimento avançado em PostgreSQL, incluindo modelagem, indexação, otimização de queries e estratégias de extração/CDC.
  • ✓Domínio de SQL e Python.
  • ✓Experiência com PySpark e processamento distribuído.
  • ✓Conhecimento em modelagem de dados voltada para consumo analítico.
  • ✓Experiência na disponibilização de dados para ferramentas de BI, preferencialmente Power BI.
  • ✓Vivência com Git e versionamento colaborativo.
  • ✓Conhecimentos de qualidade, segurança e governança de dados, incluindo LGPD.
  • ✓Capacidade de levantamento e análise de requisitos junto às áreas de negócio.
  • ✓Experiência com documentação técnica e de arquitetura.
  • •Certificações Databricks (Data Engineer Associate/Professional) e/ou AWS.
  • •Experiência com Terraform e Databricks Asset Bundles.
  • •Conhecimentos de CI/CD e práticas de DevOps/DataOps, como GitHub Actions e GitLab CI.
  • •Vivência com FinOps e otimização de custos em Databricks e AWS.
  • •Experiência em projetos de migração ou modernização de plataformas de dados.
  • •Experiência com administração do Metabase, incluindo modelos, permissões, cache e performance de consultas.

Benefícios

  • ✓Day off
  • ✓Plataforma de bem estar
  • ✓Ajuda de custo
  • ✓Horário flexível

Na Mell.ro, simplificamos a locação de imóveis, tornando o processo mais ágil, seguro e sem burocracia. Nosso compromisso é garantir soluções inovadoras que atendam tanto inquilinos quanto proprietários, sempre com transparência e eficiência.[Ver Mais]

Informações Adicionais

Selecionamos as principais informações da posição. Para conferir o descritivo completo, clique em "acessar"
PUBLICIDADE
Candidatar-se a esta vaga →

Você será redirecionado para o site da empresa