Senior Data Engineer

🌍 Remoto📍 Remoto

Descrição da Vaga

Estamos em busca de um(a) Engenheiro(a) de Dados Sênior para atuar na construção e manutenção de pipelines de dados em produção em uma plataforma de nuvem. O profissional será responsável por projetar, desenvolver e otimizar pipelines ETL/ELT escaláveis em AWS ou Azure, implementando verificações de qualidade de dados, monitoramento e alertas. Trabalhará em conjunto com o Líder de Engenharia de Dados e o Arquiteto no desenho dos pipelines e definição de padrões, além de apoiar a modelagem de dados e o desenho de schemas.

Responsabilidades

Projetar, desenvolver e manter pipelines ETL/ELT escaláveis em AWS ou Azure.
Otimizar o desempenho, a confiabilidade e a eficiência de custos dos pipelines.
Implementar verificações de qualidade de dados, monitoramento e alertas para pipelines em produção.
Trabalhar em conjunto com o Líder de Engenharia de Dados e o Arquiteto no desenho dos pipelines e definição de padrões.
Apoiar a modelagem de dados e o desenho de schemas em conjunto com o Analista de Modelagem de Dados.
Diagnosticar e solucionar problemas de pipelines de dados em produção.
Participar de revisões de código e contribuir para as boas práticas de engenharia.

Requisitos

✓Mais de 5 anos de experiência prática em engenharia de dados.
✓Conhecimento aprofundado em uma plataforma de cloud: AWS (Glue, S3, Redshift, EMR, Lambda, Kinesis) ou Azure (Data Factory, Synapse, ADLS, Databricks).
✓Forte conhecimento em SQL e Python (ou Scala), com experiência em ferramentas de orquestração como Airflow, ADF, entre outras.
✓Experiência com desenvolvimento de ETL/ELT, verificações de qualidade de dados e otimização de desempenho.
✓Conhecimento de frameworks de processamento distribuído de dados, como Spark.
✓Experiência operando pipelines de dados em produção em grande escala.
✓Sólido conhecimento de Data Warehousing e conceitos de modelagem dimensional.
✓Inglês fluente.
✓Disponibilidade para atuar no fuso horário PST (Pacific Standard Time).
•Conhecimento de CI/CD e infraestrutura como código, como Terraform.
•Experiência com pipelines de dados em streaming, como Kafka, Kinesis e Event Hubs.
•Conhecimento de dbt ou ferramentas similares de transformação de dados.

Categorias

Data Science / Analytics

Sobre a Empresa

Mais vagas na ICON Solutions do Brasil →

Aqui, acreditamos que o mundo pode ser melhor. Enxergamos um futuro tecnológico, conectado, inteligente; mas também mais justo, mais inclusivo, mais responsável. Um futuro mais humano. Nascemos com a ambição de plantar esse futuro hoje e nos lembramos disso a cada desafio.[Ver Mais]