Data Engineer (Azure/Databricks)

🌍 Remoto📍 Remoto

Descrição da Vaga

A Compass UOL está em busca de um(a) Engenheiro(a) de Dados Sênior com foco em Azure e Databricks. Este profissional será responsável pela construção e manutenção de pipelines de dados escaláveis e confiáveis, utilizando tecnologias modernas de processamento distribuído para garantir a ingestão, transformação e disponibilização de dados com qualidade e performance. O trabalho envolve modelagem de dados, extração, criação de data lake e tabelas, além de desenvolvimento de ETL para análise de dados estruturados e não estruturados.

Responsabilidades

Construir e manter pipelines de dados escaláveis e confiáveis.
Utilizar tecnologias modernas de processamento distribuído para ingestão, transformação e disponibilização de dados.
Desenvolver modelagem de dados com Databricks, SAP Datasphere, Data Factory, Azure Data Lake Storage (ADLS), Python e BD (SQL Server, Oracle).
Extrair dados e criar data lake de dados e tabelas.
Estruturar RAG de contratos e outros documentos.
Realizar ETL a partir das APIs do CXL, transformando e tratando-os em base de dados no Databricks.
Estruturar tabelas de dados no Databricks.
Desenvolver ETL para análise de dados estruturados e não estruturados, utilizando API para análise de arquivos e validação dos dados.

Requisitos

✓Experiência e conhecimento avançado no Databricks.
✓Experiência com Data Factory.
✓Experiência com Azure Data Lake Storage (ADLS).
✓Experiência na implementação de arquiteturas de Data Lake e Data Lakehouse.
✓Experiência com Python.
✓Experiência com Apache Spark.
✓Experiência com Airflow.
✓Experiência com bancos SQL/NoSQL (PostgreSQL, MongoDB, Cassandra).
•Conhecimento em Kafka.
•Conhecimento em DBT.
•Conhecimento em AWS Glue.
•Conhecimento em BigQuery.
•Conhecimento em AI/RAG.
•Conhecimento em SAP Datasphere.

Categorias

Data Science / Analytics

Sobre a Empresa

Mais vagas na Compass.UOL →

 A Compass UOL é especialista em serviços de transformação digital. Projetamos e construímos plataformas nativas digitais usando tecnologias de ponta para ajudar empresas a inovar, transformar seus negócios e prosperar em seus setores.[Ver Mais]