Data Engineer

A Pipefy está em busca de um(a) Senior Data Engineer para projetar e desenvolver pipelines de dados que apoiem nossa jornada rumo à inovação e ao crescimento. Procuramos alguém apaixonado por dados e por solucionar problemas, para atuar em um time incrível focado em construir soluções orientadas por dados.

Principais Responsabilidades

• Projetar, implementar, testar, implantar e manter soluções e pipelines de engenharia de dados estáveis, seguras e escaláveis para suportar projetos de dados e analytics, incluindo a integração de novas fontes de dados aos nossos data warehouses;
• Desenvolver código escalável e reutilizável, além de soluções de engenharia que automatizem tarefas repetitivas de gerenciamento de dados;
• Compreender os desafios do negócio e identificar como os dados podem contribuir para solucioná-los;
• Apoiar os colegas na resolução de problemas relacionados a SQL, Python e outras linguagens ou ferramentas utilizadas pela equipe;
• Compartilhar conhecimento e capacitar os demais membros do time em tecnologias e habilidades nas quais você possua domínio (SQL, Python, entre outras).
  
  Requisitos
• Proficiência em Python ou outras linguagens orientadas a objetos/funcionais, como Scala, Java ou C++, especialmente para manipulação e análise de dados, além da capacidade de desenvolver, manter e implantar processos utilizando essas tecnologias;
• Sólida experiência com arquiteturas de Data Lake;
• Sólida experiência em processos de ETL (Extract, Transform and Load);
• Sólida experiência com ferramentas de Big Data, como Kafka, Hadoop, Spark, entre outras;
• Sólida experiência com ferramentas de gerenciamento de pipelines e workflows de dados, como Airflow, Azkaban, Luigi, entre outras;
• Conhecimento de boas práticas de modelagem de bancos de dados (normalização) e otimização de performance (particionamento, cursores, views e funções);
• Experiência em análise de requisitos com foco em soluções orientadas por dados;
• Experiência com sistemas de processamento de dados em tempo real (stream processing), como Spark Streaming, Storm, entre outros;
• Conhecimento básico em Git para controle de versão e Docker/Docker Compose;
• Experiência com serviços de infraestrutura em nuvem, como:
  • EC2
  • Compute Engine
  • Azure VM
  • Amazon S3
  • Google Cloud Storage (GCS)
  • Azure Blob Storage
• Experiência com bancos de dados e serviços gerenciados, como:
  • BigQuery
  • Postgres RDS
  • MySQL RDS
  • Aurora RDS

Selecionamos as principais informações da posição. Para conferir o descritivo completo, clique em "acessar"