Descrição da Vaga
A Compass UOL está em busca de um(a) Engenheiro(a) de Dados Pleno para atuar na manutenção de pipelines de dados escaláveis e confiáveis. O profissional será responsável por utilizar tecnologias modernas de processamento distribuído para garantir a ingestão, transformação e disponibilização de dados com qualidade e performance. Além disso, atuará na migração de workflows e códigos desenvolvidos em Alteryx para a plataforma AWS, utilizando AWS Glue, e será responsável por reestruturar pipelines de dados, adaptar lógicas existentes para um ambiente cloud-native e garantir a performance, escalabilidade e governança das soluções implementadas. A função também envolve a migração de fluxos do Alteryx para o ecossistema de dados do Data Mesh, incluindo análise, reescrita e reestruturação dos programas existentes, sua adequação aos padrões de desenvolvimento definidos para o Mesh, bem como a orquestração e integração com os domínios de dados do Mesh.
Responsabilidades
- Manter pipelines de dados escaláveis e confiáveis, utilizando tecnologias modernas de processamento distribuído.
- Garantir a ingestão, transformação e disponibilização de dados com qualidade e performance.
- Atuar na migração de workflows e códigos desenvolvidos em Alteryx para a plataforma AWS, utilizando AWS Glue.
- Reestruturar pipelines de dados, adaptar lógicas existentes para um ambiente cloud-native.
- Garantir a performance, escalabilidade e governança das soluções implementadas.
- Realizar a migração de fluxos do Alteryx para o ecossistema de dados do Data Mesh.
- Analisar, reescrever e reestruturar programas existentes.
- Adequar programas aos padrões de desenvolvimento definidos para o Mesh.
- Orquestrar e integrar com os domínios de dados do Mesh.
Requisitos
- ✓Experiência com Apache Spark, Apache Airflow, Apache Kafka e dbt.
- ✓Experiência com bancos de dados SQL e NoSQL, como PostgreSQL, MongoDB e Cassandra.
- ✓Experiência com plataformas de dados em nuvem, incluindo Databricks, AWS Glue e BigQuery.
- ✓Experiência na implementação de arquiteturas de Data Lake e Data Lakehouse, garantindo escalabilidade, governança e alto desempenho no processamento de dados.
Categorias
Sobre a Empresa
Mais vagas na Compass.UOL → A Compass UOL é especialista em serviços de transformação digital. Projetamos e construímos plataformas nativas digitais usando tecnologias de ponta para ajudar empresas a inovar, transformar seus negócios e prosperar em seus setores.[Ver Mais]
Informações Adicionais
Você será redirecionado para o site da empresa
