Data Engineer Pleno

🌍 Remoto📍 Remoto

Descrição da Vaga

A Bemobi busca um(a) Engenheiro(a) de Dados Pleno para integrar o time de Data Platform, responsável por construir e manter a infraestrutura escalável, confiável e segura que sustenta todo o ciclo de vida dos dados na empresa. A missão é democratizar o uso de dados, facilitando o acesso, garantindo disponibilidade e promovendo a exploração por todos os times.

Responsabilidades

Operar e evoluir o Data Lake, trabalhando os dados nas zonas Raw, Processed e Refined, incluindo processos de deduplicação, catalogação e otimização de armazenamento (Parquet, Iceberg).
Operar e monitorar pipelines de streaming via Kafka, criando tópicos, conectores, ACLs, credenciais e acompanhando o consumer lag para pipelines em tempo real.
Contribuir com a evolução da API da Plataforma de Dados, criando e mantendo módulos que abstraem processos de ingestão (arquivos, CDC ou streaming), processamento de dados em plataformas de Big Data (Spark / Redshift) e orquestração de pipelines (Airflow).
Investigar e resolver incidentes, interpretando falhas em pipelines, carga de datasets, duplicação de dados e erros em clusters.
Utilizar e contribuir com a infraestrutura como código (IaC), operando recursos AWS sob orientação da equipe.
Participar de iniciativas de modernização e integração com ferramentas de IA, utilizando LLMs para criação de agentes e ferramentas que permitem a integração da IA aos sistemas (MCP Servers).
Manter documentação técnica de ferramentas e arquitetura, e as ferramentas de observabilidade.

Requisitos

✓Experiência sólida (3+ anos) em Engenharia de Dados ou áreas correlatas.
✓Proficiência em Python para desenvolvimento de pipelines, scripts de automação e integrações.
✓Noções de arquitetura de software.
✓Experiência prática com SQL avançado.
✓Conhecimento em Apache Airflow.
✓Experiência com serviços AWS: S3, Redshift, EMR (Spark).
✓Conhecimento em Apache Kafka: conceitos de tópicos, produtores/consumidores, conectores (Debezium, S3 Sink).
✓Familiaridade com Git e fluxos de CI/CD (Bitbucket Pipelines ou similares).
✓Conhecimento de arquiteturas de Data Lake (Lakehouse, Arquitetura Medalhão).
✓Boa comunicação e capacidade de atuar de forma autônoma em um time ágil.
•Experiência com Apache Spark (PySpark, SparkSQL).
•Experiência com Terraform ou outra ferramenta de Infrastructure as Code.
•Conhecimento em C# / .NET.
•Familiaridade com Debezium para Change Data Capture (CDC).
•Experiência com formatos de tabela modernos (Apache Iceberg, Hudi, Delta).
•Conhecimento em Grafana para monitoramento e dashboards operacionais.
•Experiência com OpsGenie/JSM para gestão de incidentes e alertas.
•Familiaridade com Redshift.
•Inglês técnico para leitura de documentação e comunicação com times LATAM.

Benefícios

✓Plano de Saúde Bradesco Rede Nacional - estendido a dependentes sem desconto por beneficiário.
✓Plano odontológico Bradesco - opcional.
✓VR/VA flexível - mantido durante as férias.
✓PLR - participação nos lucros.
✓Wellhub.
✓Day off de aniversário.
✓Auxílio Home Office.
✓VT conforme necessidade - desconto permitido por lei.
✓Seguro de Vida.
✓Acesso gratuito a todos os produtos da empresa (AppsClub, Clube de Descontos, TrueCaller, BTFit e Busuu).
✓Acesso a treinamentos internos por meio de plataformas digitais.
✓Programa de reconhecimento interno entre colaboradores - Bemobucks.

Categorias

Data Science / Analytics

Sobre a Empresa

Mais vagas na Bemobi →

Created in 2009 in Brazil, Bemobi is a pioneering technology company offering mobile solutions and platforms for digital services, microfinance, and payment methods.  We operate on a B2B2C model, delivering complete "white label" solutions to partner companies that pass on our services to their...[Ver Mais]