Descrição da Vaga
A Triggo.ai, empresa brasileira focada em Analytics, IA e transformação digital, busca um Engenheiro de Dados Sênior para projetar e implementar pipelines de ingestão, transformação e orquestração de dados na Google Cloud. O profissional será responsável por garantir a qualidade, confiabilidade e escalabilidade do fluxo de dados (batch e streaming), otimizar custos de armazenamento e processamento (BigQuery, Dataflow, Dataproc, Pub/Sub), e colaborar com cientistas de dados e analistas, fornecendo dados prontos para consumo.
Responsabilidades
- Projetar e implementar pipelines de ingestão, transformação e orquestração de dados na Google Cloud.
- Garantir qualidade, confiabilidade e escalabilidade no fluxo de dados (batch e streaming).
- Otimizar custos de armazenamento e processamento (BigQuery, Dataflow, Dataproc, Pub/Sub).
- Colaborar com cientistas de dados e analistas, fornecendo dados prontos para consumo.
Requisitos
- ✓Conhecimento em Ingestão de Dados: Dataflow (Apache Beam) para pipelines de ETL/ELT escaláveis, extração de origens externas como base Oracle na OCI, SQLserver on-premise; Pub/Sub para ingestão em tempo real; Storage Transfer para ingestão de dados em batch originados no próprio GCS ou externo como buckets S3 da AWS; Integração com bancos externos (Oracle, SQL Server, MySQL) via JDBC / Dataflow templates ou extração customizada.
- ✓Conhecimento em Armazenamento e Processamento: BigQuery para modelagem, otimização de queries, particionamento e clustering; Cloud Storage para Data Lake (raw, bronze, silver, gold); Dataproc quando necessário; Bigtable e Firestore para casos NoSQL.
- ✓Conhecimento em Transformação e Modelagem: Dataform ou dbt para orquestração SQL no BigQuery; Boas práticas de modelagem dimensional; Processamento batch e streaming (Beam, SQL streaming).
- ✓Conhecimento em Orquestração e Automação: Cloud Composer (Airflow) ou Workflows para agendamentos complexos; Integração com Cloud Functions / Cloud Run para tarefas serverless.
- ✓Conhecimento em Linguagens e Ferramentas: SQL avançado (BigQuery SQL); Python (para Dataflow, automações, ETL); Git (CI/CD em repositórios).
Categorias
Sobre a Empresa
Mais vagas na Grupo SysMap →Somos o Grupo SysMap, formado pelas marcas SysMap Solutions, TriggoLabs e triggo.ai, um ecossistema de empresas de grande impacto no mercado, com soluções inovadoras em tecnologia que transformam negócios e desenvolvem pessoas.[Ver Mais]
Informações Adicionais
Você será redirecionado para o site da empresa
