Descrição da Vaga
A BRQ busca uma Pessoa Engenheira de Dados Pleno/Sênior para atuar em novos projetos, contribuindo para a construção e evolução de soluções de dados em nuvem, especialmente em ambientes do setor financeiro. O profissional será responsável por transformar dados em soluções que geram impacto, trabalhando com grandes volumes de dados e desenvolvendo pipelines eficientes.
Responsabilidades
- Desenvolver, manter e otimizar pipelines de ingestão, processamento e transformação de dados, em batch e, quando necessário, próximos do tempo real.
- Construir soluções de dados em ambientes cloud, trabalhando com Azure ou AWS.
- Desenvolver e otimizar códigos em Python, PySpark e SQL para processamento de grandes volumes de dados.
- Trabalhar com Databricks na construção e evolução de soluções de Engenharia de Dados.
- Organizar dados em diferentes camadas, como Bronze, Silver e Gold, seguindo conceitos de arquitetura Lakehouse.
- Orquestrar e automatizar pipelines utilizando Airflow, Azure Data Factory ou ferramentas equivalentes.
- Aplicar boas práticas de modelagem, qualidade, governança e catalogação de dados.
- Utilizar Git e práticas de CI/CD para versionamento, automação e publicação das soluções.
- Monitorar pipelines, investigar incidentes e implementar melhorias de performance e confiabilidade.
- Participar de refinamentos técnicos, compreender necessidades das áreas de negócio e colaborar com diferentes times de engenharia.
- Compartilhar conhecimentos e contribuir para a evolução das práticas técnicas do time.
Requisitos
- ✓Experiência prática em Engenharia de Dados.
- ✓Conhecimento em Python para desenvolvimento de pipelines, automação e transformação de dados.
- ✓Conhecimento em SQL avançado para consultas complexas, manipulação de dados e otimização de performance.
- ✓Conhecimento em Apache Spark / PySpark para processamento distribuído de grandes volumes de dados.
- ✓Conhecimento em Databricks para desenvolvimento e manutenção de soluções de Engenharia de Dados.
- ✓Experiência sólida em pelo menos um dos ecossistemas Cloud: Azure (Data Factory, Azure Databricks, Blob Storage) ou AWS (S3, Glue, EMR, Lambda, Step Functions).
- ✓Conhecimento em ferramentas de orquestração como Airflow, Azure Data Factory ou equivalentes.
- ✓Conhecimento em Git e CI/CD para versionamento e automação de entregas.
- ✓Conhecimento em modelagem de dados para estruturação e organização para processamento e consumo analítico.
- •Experiência com Delta Lake e arquitetura Medallion.
- •Conhecimento em Terraform e infraestrutura como código.
- •Vivência com práticas de qualidade, governança e catalogação de dados.
- •Experiência em processamento de dados em streaming com Kafka ou Kinesis.
- •Conhecimento em bancos NoSQL, como Cosmos DB, DynamoDB ou MongoDB.
- •Familiaridade com Scala ou Java.
- •Conhecimento em Docker e Kubernetes.
- •Experiência em projetos de instituições financeiras, bancos, meios de pagamento ou investimentos.
Categorias
Sobre a Empresa
Mais vagas na BRQ →A BRQ apoia empresas a evoluírem o digital que sustenta seus negócios, com um propósito claro: transformar problemas complexos em progresso. Combinamos especialistas, ferramentas e inteligência artificial para entregar com método e consistência, atuando em modernização de legado e dados, GenAI, e co...[Ver Mais]
Informações Adicionais
Você será redirecionado para o site da empresa
Vagas Relacionadas
Data Scientist - Tech Lead
Dock
Analista de Dados PL
Olist
Analista IA Responsável
Jump
Analytics Engineer Sênior
Extractta
Engenheiro de Dados
Westwing Brasil
Desenvolvedor(a) de Software Full Stack (Python / Azure / GenAI) - Pleno/Sênior (Remoto)
ICON Solutions do Brasil