Descrição da Vaga
A Bridge & Co. está buscando um(a) Engenheiro(a) de Dados Pleno para atuar na implementação e otimização de soluções avançadas de dados em ambientes Databricks, com foco na integração entre dados e as estratégias de negócio da organização. O profissional será responsável por garantir eficiência e escalabilidade, promovendo a melhoria contínua dos processos de coleta, transformação, armazenamento e disponibilização de dados, sempre alinhados às necessidades do negócio.
Responsabilidades
- Desenvolver e implementar soluções técnicas avançadas para obtenção, processamento e armazenamento de dados, alinhadas com as necessidades e estratégias específicas do negócio.
- Definir camadas de dados e seu respectivo uso.
- Criar contratos de dados, documentações técnicas e regras de validação.
- Desenvolver algoritmos para acesso e manipulação de dados brutos, impulsionando a tomada de decisão estratégica.
- Automatizar e otimizar fluxos e processos de dados, buscando constantemente melhorias de desempenho.
- Entender dos dados da organização e liderar a estratégia e implementação do ambiente de Data Lake.
- Projetar e implementar processos de ETL/ELT escaláveis, resilientes e eficientes, suportando as demandas analíticas.
- Gerenciar a aquisição de dados, identificando e avaliando fontes relevantes e implementando mecanismos para garantir sua qualidade e relevância.
Requisitos
- ✓Domínio do Ecossistema Databricks & PySpark: Experiência sólida no desenvolvimento de processamento distribuído, otimização de jobs e manipulação de grandes volumes de dados.
- ✓Desenvolvimento de Aplicações de Dados: Experiência com Databricks Apps ou Streamlit para criação de interfaces e dashboards interativos.
- ✓Construção de Pipelines de Dados: Capacidade de desenhar e implementar fluxos de dados ponta a ponta (Ingestão, Transformação e Carga).
- ✓DevOps & Versionamento: Domínio de Git/GitHub e implementação de fluxos de CI/CD para garantir deploys seguros e automatizados.
- ✓Inglês Fluente: Capacidade técnica e comportamental para participar ativamente de reuniões, apresentações e negociações técnicas totalmente em inglês.
- •Infraestrutura como Código (IaC): Conhecimento em Terraform para provisionamento e gestão de recursos em cloud.
- •Experiência em Azure Cloud: Proficiência em serviços de dados da plataforma, com foco em Azure Data Factory (ADF) para orquestração de pipelines complexos.
- •Processamento de Dados Não Estruturados: Experiência no tratamento de imagens, vídeos, PDFs ou logs complexos.
- •Fundamentos de Redes: Conhecimento em VNETs, Subnets, Private Links e conectividade segura em ambiente cloud.
- •Frameworks de Qualidade: Experiência com frameworks de Data Quality (como DQX) para governança e confiabilidade dos dados.
Categorias
Sobre a Empresa
Mais vagas na Bridge & Co. →Somos uma empresa brasileira de consultoria e tecnologia especializada em Business Transformation. Nascemos com a missão de conectar negócios e tecnologia para gerar transformações duradouras rumo a um futuro mais digital.[Ver Mais]
Informações Adicionais
Você será redirecionado para o site da empresa
