Databricks Data Engineer

🌍 Remoto📍 Remoto

Descrição da Vaga

A Compass UOL está em busca de um(a) Engenheiro(a) de Dados Sênior com foco em Databricks para atuar no desenvolvimento e manutenção de pipelines de dados, modelagem e estruturação de dados em ambientes Data Lake e Data Lakehouse. O profissional irá desenvolver processos de ETL/ELT utilizando Databricks, Python e Azure Data Factory, além de integrar dados de diversas fontes e atuar em projetos envolvendo SAP Datasphere e Azure Data Lake Storage (ADLS).

Responsabilidades

Desenvolver e manter pipelines de ingestão, transformação e disponibilização de dados;
Modelar e estruturar dados em ambientes Data Lake e Data Lakehouse;
Desenvolver processos de ETL/ELT utilizando Databricks, Python e Azure Data Factory;
Integrar dados provenientes de APIs, bancos de dados e arquivos estruturados e não estruturados;
Atuar em projetos envolvendo SAP Datasphere e Azure Data Lake Storage (ADLS);
Desenvolver soluções para processamento de dados com foco em performance, qualidade e governança;
Participar de iniciativas de IA Generativa, como estruturação de bases para RAG e processamento de documentos;
Colaborar com equipes multidisciplinares na evolução de soluções de dados.

Requisitos

✓Ensino superior completo em Tecnologia da Informação ou pós-graduação em TI (mínimo de 360 horas reconhecidas pelo MEC);
✓Experiência avançada com Databricks;
✓Sólidos conhecimentos em modelagem de dados;
✓Experiência com Python e SQL;
✓Conhecimento em Azure Data Factory e Azure Data Lake Storage (ADLS);
✓Experiência com SAP Datasphere;
✓Vivência com bancos de dados relacionais, como SQL Server e Oracle;
✓Experiência na construção e manutenção de pipelines de dados escaláveis e confiáveis;
•Conhecimento em Apache Spark, Airflow, Kafka ou dbt;
•Experiência com arquiteturas Data Lake e Data Lakehouse;
•Vivência com integrações via APIs;
•Experiência em projetos de IA Generativa, RAG e processamento de documentos;
•Conhecimento em outras plataformas cloud e ecossistemas de dados modernos.

Categorias

Data Science / Analytics

Sobre a Empresa

Mais vagas na Compass.UOL →

 A Compass UOL é especialista em serviços de transformação digital. Projetamos e construímos plataformas nativas digitais usando tecnologias de ponta para ajudar empresas a inovar, transformar seus negócios e prosperar em seus setores.[Ver Mais]