Engenheiro Dados Pl

🌍 Remoto📍 Remoto

Descrição da Vaga

A Stefanini busca um Engenheiro de Dados Pleno para atuar na migração de tabelas e pipelines do ambiente Cloudera Hadoop para AWS, trabalhando de ponta a ponta, desde o levantamento inicial até a estabilização em produção.

Responsabilidades

Mapear o ambiente atual: levantar jobs, pipelines e queries em HQL no Cloudera, além de rotinas de orquestração em Shell Script.
Converter as queries HQL para Amazon Athena, AWS Glue ou Amazon EMR, escolhendo o serviço mais adequado por caso de uso (custo, performance, padrão de acesso).
Redesenhar as rotinas de orquestração em Shell Script para serviços gerenciados AWS como Step Functions, Lambda, EventBridge e MWAA/Airflow.
Modelar o data lake de destino em Amazon S3 (zonas raw/trusted/refined) e, quando aplicável, em Amazon Redshift.

Requisitos

✓Experiência com Cloudera Hadoop, HQL, Shell Script, Amazon Athena, AWS Glue, Amazon EMR, AWS Step Functions, AWS Lambda, Amazon EventBridge, Amazon MWAA/Airflow, Amazon S3, Amazon Redshift
•Experiência com migração de dados e pipelines entre diferentes ambientes
•Conhecimento em outras tecnologias de Big Data e Cloud

Benefícios

✓Vale-alimentação ou vale-refeição
✓Desconto em cursos, universidades e instituições de idiomas
✓Academia Stefanini — plataforma com cursos on-line, gratuitos, atualizados e com certificado
✓Mentoring
✓Clube de vantagens para consultas e exames
✓Assistência médica
✓Assistência odontológica
✓Clube de vantagens e descontos nos melhores estabelecimentos
✓Clube de viagens
✓Convênio para pets

Categorias

Data Science / Analytics

Sobre a Empresa

Mais vagas na Stefanini Group →

Entregamos soluções digitais inovadoras e eficazes, que auxiliam os nossos clientes em suas jornadas digitais, sempre aplicando o nosso propósito de tornar a tecnologia um agente de mudança para um mundo melhor.