Descrição da Vaga
O Engenheiro de Dados Pleno na Dataside atua com autonomia para entregar soluções de alta complexidade em projetos de engenharia de dados, sendo responsável técnico por contratos, sempre acompanhado de um Líder Técnico, Engenheiro Sênior ou Arquiteto de Dados. Sua função envolve orientar clientes nas decisões sobre pipelines, serviços, otimização de custo e performance, além de identificar oportunidades de melhoria em arquiteturas existentes e comunicá-las aos responsáveis técnicos de maior senioridade. Também participa ativamente do desenvolvimento de colegas menos experientes, realizando revisões técnicas e mentorias para Juniors ou membros em fase de crescimento.
Responsabilidades
- Projetar, construir e manter pipelines de dados usando PySpark, SQL e serviços AWS.
- Gerenciar ingestão e transformação de dados com eficiência, reutilização e boas práticas.
- Atuar em projetos com Glue, EMR, Redshift, Athena, Lambda e Step Functions.
- Otimizar ciclos de vida de dados no S3 e garantir performance das consultas.
- Gerar valor através da organização e governança dos dados.
- Trabalhar com ambientes críticos e de grande volume.
- Conduzir reuniões com clientes, explicar decisões técnicas e propor soluções escaláveis.
- Antecipar riscos técnicos e sugerir soluções.
- Orientar profissionais Júnior e participar ativamente da disseminação de boas práticas no time.
Requisitos
- ✓Experiência prática com projetos de média e alta complexidade em ambientes de dados.
- ✓Vivência em construção de pipelines com Spark/PySpark e SQL avançado.
- ✓Domínio da stack analítica AWS: S3, Glue, EMR, Athena, Redshift, Lambda, Step Functions.
- ✓Experiência com CI/CD, versionamento com Git e deploy automatizado.
- ✓Boa comunicação com stakeholders técnicos e não técnicos.
- ✓Visão clara de fluxo de dados e arquitetura em cloud.
- ✓Autonomia para execução e responsabilidade sobre entregas.
- ✓Conhecimento em Amazon Redshift: Criação e manutenção de tabelas, distribuição (KEY, EVEN, ALL), sort keys, vacuum/stats, materialized views, COPY/UNLOAD, WLM.
- •Inglês intermediário.
- •Conhecimento/experiência em Terraform, DBT, DuckDB, Docker.
- •Certificação AWS Data Engineer Associate.
- •Certificação AWS Solutions Architect Associate.
- •Certificação Databricks Certified Data Engineer Associate.
Sobre a Empresa
Mais vagas na Dataside →A missão da Dataside é acompanhar as empresas na jornada de dados, aumentando a confiabilidade e agilidade na tomada de decisão orientada a dados e IA. Advanced Analytics & AI Criamos soluções envolvendo Engenharia de Dados, Machine Learning e IA.[Ver Mais]
Informações Adicionais
Você será redirecionado para o site da empresa
